[論文レビュー] A Model for Evaluating Algorithmic Systems Accountability

Yiannis Kanellopoulos|arXiv (Cornell University)|Jul 12, 2018

Software Reliability and Analysis Research参考文献 9被引用数 4

ひとこと要約

本稿では、アルゴリズムの透明性とそのアルゴリズムを使用する機関の組織的成熟度の両方を評価することにより、アルゴリズムシステムにおける責任追及性を評価するモデルを提案する。金融機関の分類アルゴリズムに適用したところ、部分的な組織的コントロールと、推論結果を検証するための標準化されたベンチマークの欠如が明らかになった。

ABSTRACT

Algorithmic systems make decisions that have a great impact in our lives. As our dependency on them is growing so does the need for transparency and holding them accountable. This paper presents a model for evaluating how transparent these systems are by focusing on their algorithmic part as well as the maturity of the organizations that utilize them. We applied this model on a classification algorithm created and utilized by a large financial institution. The results of our analysis indicated that the organization was only partially in control of their algorithm and they lacked the necessary benchmark to interpret the deducted results and assess the validity of its inferencing.

研究の動機と目的

• アルゴリズムシステムにおける責任追及性を評価するための構造的モデルを開発すること。
• 組織的成熟度がアルゴリズム意思決定の透明性と信頼性に与える影響を検討すること。
• 金融分野で実際に使用されている分類アルゴリズムの技術的および手続的透明性を評価すること。
• 機関におけるAI導入におけるベンチマークと検証プロセスのギャップを特定すること。
• 生産環境におけるAIシステムの責任追及性を向上させるための実行可能なインサイトを提供すること。

提案手法

• モデルは、アルゴリズム部品の技術的評価と組織プロセス成熟度の評価を統合する。
• モデルの論理とトレーニングプロセスの文書化、説明可能性、監査可能性を通じて、アルゴリズムの透明性を評価する。
• ガバナンス構造、監視実務、インcidnet対応プロトコルを用いて、組織的成熟度を評価する。
• モデルは、大手金融機関の実際の分類アルゴリズムに適用された。
• データ収集には、インタビュー、システム文書、モデル出力および検証手順の分析が含まれた。
• アルゴリズムの責任追及性およびモデルガバナンスのための既存基準と比較評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズムシステムは、監査および検証が可能であるほど技術的に透明性を備えているか。
• RQ2 アルゴリズムシステムの管理と監視において、組織的プロセスはどの程度成熟しているか。
• RQ3 モデルの推論および意思決定結果を検証するためのベンチマークは存在するか。
• RQ4 組織は、展開済みのアルゴリズムの挙動をどの程度制御し、理解しているか。
• RQ5 技術的設計と運用実務の間で、責任追及メカニズムのギャップはどこに存在するか。

主な発見

• 金融機関は、モデルの推論結果を解釈または検証するための標準化されたベンチマークを欠いていた。
• 組織はアルゴリズムシステムに対して部分的なコントロールを示しており、弱い監視メカニズムを示唆していた。
• モデル意思決定のための文書化不足と監査トレースの欠如により、アルゴリズムの透明性は制限されていた。
• ガバナンスおよび監視における組織的成熟度は、特にインcidnet対応およびモデルバージョニングにおいて未発達であった。
• 公式な検証フレームワークの不在が、モデルの信頼性および公平性を評価する能力を阻害した。
• 本研究は、技術的能力と組織的責任追及実務の間の重要な断絶を明らかにした。