[論文レビュー] Hows and Whys of Artificial Intelligence for Public Sector Decisions: Explanation and Evaluation

Alun Preece, Rob Ashelford+2 more|arXiv (Cornell University)|Sep 28, 2018

Explainable Artificial Intelligence (XAI)参考文献 15被引用数 4

ひとこと要約

本論文は、公共部門意思決定におけるAI/MLシステムの評価と説明を評価するフレームワークを提案する。人間-AI意思決定ループをモデル化し、ミッション指向、データ指向、業務指向、根拠指向の4つの戦略にわたり、評価と説明の課題をマッピングする。AIの評価を組織の成果と人間・機械の協働に合わせることで、信頼性、説明責任、影響力が向上し、公共部門における実用的かつ実行可能な道筋が提示される。

ABSTRACT

Evaluation has always been a key challenge in the development of artificial intelligence (AI) based software, due to the technical complexity of the software artifact and, often, its embedding in complex sociotechnical processes. Recent advances in machine learning (ML) enabled by deep neural networks has exacerbated the challenge of evaluating such software due to the opaque nature of these ML-based artifacts. A key related issue is the (in)ability of such systems to generate useful explanations of their outputs, and we argue that the explanation and evaluation problems are closely linked. The paper models the elements of a ML-based AI system in the context of public sector decision (PSD) applications involving both artificial and human intelligence, and maps these elements against issues in both evaluation and explanation, showing how the two are related. We consider a number of common PSD application patterns in the light of our model, and identify a set of key issues connected to explanation and evaluation in each case. Finally, we propose multiple strategies to promote wider adoption of AI/ML technologies in PSD, where each is distinguished by a focus on different elements of our model, allowing PSD policy makers to adopt an approach that best fits their context and concerns.

研究の動機と目的

• 技術的複雑性と社会的・技術的統合性が、検証・検証を困難にする公共部門意思決定（PSD）におけるAIシステムの評価という、長年の課題に対処すること。
• 深層学習モデルの不透明性を踏まえ、説明と評価の相互依存関係を明確にすること。
• 人間-AI意思決定ループの構造的モデルを構築し、説明と評価のための失敗要因と機会を特定すること。
• 組織の特定の優先順位と制約に応じてAIを採用できる、4つの明確な戦略（ミッション指向、データ指向、業務指向、根拠指向）を提言すること。
• モデルの正確性だけでなく、現実世界の影響に基づいて評価を根拠づけ、フィードバックと学習ループを強調することで、持続的で信頼できるAIの導入を促進すること。

提案手法

• ボーイドのOODAループを改変した人間-AI意思決定ループの概念的モデルを構築し、データ要素（入力、訓練、フィードバック）と運用要素（観察、状況把握、意思決定、行動）を区別する。
• 評価（検証と検証）と説明（どのように？なぜ？）を意思決定ループの特定のコンponentsにマッピングし、監視が特に重要となるポイントを特定する。
• 公共部門意思決定におけるAI導入のための4つの明確な戦略を提言する：ミッション指向（成果に注力）、データ指向（データ品質と管理に注力）、業務指向（人間とAIの協働に注力）、評価指向（包括的かつ根拠に基づいたアプローチ）。
• フレームワークを用いて一般的なPSD応用パターンを分析し、それぞれの応用における説明と評価の主な課題を特定する。
• 単一ループ学習、二重ループ学習、三重ループ学習の概念を統合し、フィードバックと根拠に基づく検証を通じた段階的改善の重要性を強調する。
• AIの冬の歴史的教訓を援用し、長期的成功は技術的パフォーマンスだけでなく、実証的影響の証明に依存することを主張する。

実験結果

リサーチクエスチョン

• RQ1 公共部門意思決定におけるAI/MLシステムの評価と説明を、信頼性と説明責任を向上させるために、どのように体系的に結びつけることができるか？
• RQ2 公共部門におけるAIアプリケーションにおいて、検証（「正しい方法でシステムを構築する」）と検証（「正しいシステムを構築する」）の説明ニーズに、どのような主な差異があるか？
• RQ3 提言された4つの戦略（ミッション指向、データ指向、業務指向、根拠指向）は、AIの評価と説明における焦点と影響でどのように異なっているか？
• RQ4 公共部門組織における社会的・技術的プロセスは、AIシステムの影響評価をどのように複雑にするか、そしてその対処法は何か？
• RQ5 フィードバックループと根拠に基づく評価は、AIの過剰期待のリスクをどのように軽減し、公共サービスにおける持続的かつ高影響のAI導入を確保できるか？

主な発見

• 説明と評価は深く結びついている：効果的な説明は、デバッグなどの検証（例）と、信頼性の構築などの検証（例）の両方を支援する。特に、複雑な社会的・技術的システムにおいて顕著である。
• ミッション指向戦略は意思決定、行動、フィードバックのデータに注力し、説明を「なぜ」成果が成功または失敗したかに集中させることで、AIのパフォーマンスと現実世界の影響を結びつける。
• データ指向戦略は、データ品質と管理の向上により評価を強化し、検証への負担を軽減し、システム内の「よく知られた知見（known knowns）」を増やす。
• 業務指向戦略は、人間とAIの労働分担を最適化することで、システム全体の強靭性と職務満足度を向上させ、説明が信頼性と説明責任に重要な役割を果たす。
• 評価指向戦略は包括的かつ根拠に基づいたアプローチを提供し、意思決定ループ全体で「何が機能するか」を捉える。長期的な学習と機関記憶の維持を支援する。
• フィードバックループ、特に三重ループ学習は、未知の未知（unknown unknowns）や未知の知見（unknown knowns）に起因するリスクを軽減し、新しい文脈へのAIシステムの適応を可能にし、初期のパフォーマンス指標を超えた持続的影響を保証するために不可欠である。