[論文レビュー] Reviewable Automated Decision-Making: A Framework for Accountable Algorithmic Systems

Jennifer Cobbe, Michelle Seng Ah Lee+1 more|arXiv (Cornell University)|Jan 26, 2021

Ethics and Social Impacts of AI被引用数 16

ひとこと要約

本論文は、機械学習に基づく自動意思決定（ADM）における責任のあり方を、技術的および組織的要素をADMライフサイクル全体にわたり体系的に記録することで、法的根拠に基づいた包括的枠組み「レビュー可能性（reviewability）」として提唱する。英語行政法の原則を応用することで、個々の意思決定および広範な意思決定プロセスの両方に対する意味のあるレビューを可能にし、公共および民間分野における法的根拠のある透明性と監視の実践的道筋を提供する。

ABSTRACT

This paper introduces reviewability as a framework for improving the accountability of automated and algorithmic decision-making (ADM) involving machine learning. We draw on an understanding of ADM as a socio-technical process involving both human and technical elements, beginning before a decision is made and extending beyond the decision itself. While explanations and other model-centric mechanisms may assist some accountability concerns, they often provide insufficient information of these broader ADM processes for regulatory oversight and assessments of legal compliance. Reviewability involves breaking down the ADM process into technical and organisational elements to provide a systematic framework for determining the contextually appropriate record-keeping mechanisms to facilitate meaningful review - both of individual decisions and of the process as a whole. We argue that a reviewability framework, drawing on administrative law's approach to reviewing human decision-making, offers a practical way forward towards more a more holistic and legally-relevant form of accountability for ADM.

研究の動機と目的

• 機械学習を用いた自動的・アルゴリズム的意思決定（ADM）における責任を確保するための、モデル中心の説明の限界を是正すること。
• モデルの解釈可能性を越えて、意思決定前の段階および意思決定後の段階を含む、包括的でプロセス指向のADM責任の仕組みを構築すること。
• 英語行政法の原則—特に意思決定プロセスの司法的レビューに焦点を当てたもの—を、公共および民間分野におけるアルゴリズムシステムに適応すること。
• 監査機関、規制当局、影響を受ける個人が意味のあるADMシステムのレビューを可能にする、文脈的に適切な記録保持メカニズムを同定すること。
• 技術的透明性と法的適合性のギャップを埋めるために、組織的・手続的・技術的記録を統合した包括的責任枠組みを構築すること。

提案手法

• ADMを技術的および組織的要素に分解し、人的行動や意思決定を構造化された組織的プロセスの一部として扱う。
• 行政法における意思決定を、意思決定の前段階から結果およびレビューまでの連続的プロセスとして捉える理解を基盤とする。
• レビュー可能性は、文脈、目的、関係者に応じた最適化されたログ記録メカニズムとして実装される。
• 意思決定プロセスの履歴や技術的ツールキットなどの既存のツールや基準を統合し、一貫性のあるログ記録と情報抽出を可能にする。
• 監査機関や規制当局が、特に規制フレームワーク下で、実務的に「レビュー可能な情報」とされる内容を定義する役割を果たすべきだと提言する。
• 変化する文脈や解釈に応じて透明性の要件も進化するため、反復的かつ動的なレビュープロセスを支援する。

実験結果

リサーチクエスチョン

• RQ1 自動意思決定システムを、モデルの説明や解釈可能性を越えて、どのように意味的に責任あるものにできるか？
• RQ2 ADMプロセスのライフサイクル全体にわたり、効果的なレビューを可能にするために、どのような組織的および技術的記録が必要か？
• RQ3 英語行政法の原則を、多様な分野におけるアルゴリズムシステムの法的・規制的監視を支援するために、どのように適応できるか？
• RQ4 レビュー可能性は、個々の意思決定のレビューとシステム全体の評価を両立させる文脈的に適切な透明性をどのように確保できるか？
• RQ5 技術的ツールキットや標準化されたログフォーマットは、レビュー可能なADMのための一貫性があり有用な記録保持をどのように支援できるか？

主な発見

• レビュー可能性は、モデルレベルの説明を超えて、社会的・技術的ADMプロセス全体にわたる包括的で体系的な責任枠組みを提供する。
• 技術的および組織的記録を統合することで、レビュー可能性は監査機関が個々の意思決定およびシステム全体の意思決定品質を評価することを可能にする。
• 行政法に基づく枠組みであるため、法的根拠があり実用的な責任確保のアプローチであり、公共および民間分野に適用可能である。
• 強固なレビュー可能性があっても、透明性そのものでは、権力の不均衡やビジネスモデルのダイナミクスといった構造的問題を解決できないため、補完的な責任確保メカニズムの必要性が浮き彫りになる。
• 組織が実行可能なステップとして、文脈に応じた記録保持、標準化された開示フォーマット、ログ記録と取得を支援する技術的ツールの導入を同定する。
• レビュー可能性は万能ではないが、ADMの設計者や運用者の前提、意思決定、優先順位を捉えることで、重要なギャップを埋め、より情報に基づいたレビューと適合性評価を可能にする。