[論文レビュー] Explaining Explanations to Society
本稿は、AI専門家向けの技術的・モデル中心の説明（'inside explanations'）と、社会的・責任追及的・因果関係に焦点を当てた明確で実行可能で信頼できる説明（'outside explanations'）の違いを区別する。現在のXAI手法が、自動運転や医療などハイリスク分野において、特に責任追及や因果関係に関する社会的『なぜ』の問いに応えられていないと主張し、透明性、監査可能性、一般信頼性を確保するため、『なぜ』の問いに答えることができるプローブ可能で、監査可能で、フィードバックに応答可能な新しいXAIシステムの構築を提唱する。
There is a disconnect between explanatory artificial intelligence (XAI) methods and the types of explanations that are useful for and demanded by society (policy makers, government officials, etc.) Questions that experts in artificial intelligence (AI) ask opaque systems provide inside explanations, focused on debugging, reliability, and validation. These are different from those that society will ask of these systems to build trust and confidence in their decisions. Although explanatory AI systems can answer many questions that experts desire, they often don't explain why they made decisions in a way that is precise (true to the model) and understandable to humans. These outside explanations can be used to build trust, comply with regulatory and policy changes, and act as external validation. In this paper, we focus on XAI methods for deep neural networks (DNNs) because of DNNs' use in decision-making and inherent opacity. We explore the types of questions that explanatory DNN systems can answer and discuss challenges in building explanatory systems that provide outside explanations for societal requirements and benefit.
研究の動機と目的
- 現在のXAI手法が技術的デバッグや検証を目的としているのに対し、AI意思決定に関する社会的『なぜ』の問いに答える必要があるという、その間の根本的ギャップを特定すること。
- 深層ニューラルネットワーク（DNNs）の文脈において、'inside explanations'（技術的・モデル中心）と 'outside explanations'（社会的・因果的・責任追及中心）を定義し、区別すること。
- 安全が重要なシステムにおける責任、公平性、事故調査といった現実の社会的懸念に対処できない、既存のXAI技術の限界を浮き彫りにすること。
- 説明可能性を越えて、プローブ可能でフィードバックに応答可能で監査可能であることを可能にする、説明可能AIが、一般信頼性を築くために必要不可欠であると主張すること。
- 非専門家ユーザー、規制当局、政策立案者に答えることができる、正確さに加え説明可能なDNNの説明システムの設計を促進する、今後の研究の方向性を提示すること。
提案手法
- モデル内部（例：注目マップ、サリエンシー、特徴量の寄与度）に焦点を当てた'inside explanations'と、因果的推論、責任追及、社会的信頼性に焦点を当てた'outside explanations'の区別。
- 既存の説明の分類法を拡張し、それぞれのタイプの説明がどの種類の問いに答えることができ、どの問いに答えることができないかを分析すること。特に『なぜ』の問いへの対応を検討。
- Uber自動運転車事故やAmazonの採用アルゴリズムにおけるバイアスといった、実世界の事例を分析し、現在の説明システムが根本的要因の責任追及に失敗している様子を示す。
- 専門家ではないユーザーおよび規制当局からのフィードバックに応答できる、単に説明可能であるのではなく、監査可能で、プローブ可能で、フィードバックに応答可能なシステムの必要性を強調すること。
- 将来のXAIシステムが、微細な感度分析と因果的推論をサポートすることで、モデルの行動とトレーニングデータ、あるいは現実世界の期待との不一致を検出できるようにする必要があると提言すること。
- XAI設計の軸足を、モデル中心のデバッグから、ユーザー中心の説明に移すべきであると主張する。その説明は、正確で、真実に即しており、非専門家にとっても理解可能でなければならない。
実験結果
リサーチクエスチョン
- RQ1ハイリスク分野において、社会や政策立案者がAI意思決定に関して実際に答えを求めているのはどのような種類の問いか？
- RQ2なぜ現在のXAI手法は、技術的に正確であると同時に社会的に意味を持つ説明を提供できないのか？
- RQ3深層ニューラルネットワークの説明は、現実世界の事故における因果関係、責任追及、回避可能性に関する『なぜ』の問いに、どのように答えるように設計できるか？
- RQ4モデルレベルの解釈性を超えて、社会的質問に応えられるように、AIシステムをプローブ可能で、フィードバックに応答可能にするために、どのような技術的・アーキテクチャ的変更が必要か？
- RQ5システム障害やバイアスの事例において、説明が真実（モデルに忠実）でありながら、非専門家にとっても理解可能であるようにするにはどうすればよいか？
主な発見
- 現在のXAI手法は主に、特徴量の重要度や注目マップといったモデル内部に焦点を当てた'inside explanations'を生成するが、これは社会的信頼性や責任追及には不十分である。
- 規制当局、保険会社、AIの失敗の被害者といった社会的ステークホルダーは、『なぜ事故が起きたのか？』や『回避可能ではなかったか？』といった『なぜ』の問いに答える'outside explanations'を求める。
- Uber自動運転車事故では、歩行者検出における誤検出（偽陽性）が根本的要因であったが、明確で追跡可能な説明がなかったため、責任追及と調査が遅れ、説明可能なシステムの必要性が浮き彫りになった。
- Amazonの採用アルゴリズムは、偏ったトレーニングデータにより男性志向の特徴を学習したが、高い精度を誇っていたにもかかわらず、性別に言及する言語などの問題のある特徴量に依存していたことが、プローブがなければ検出されず、不透明で説明不能なモデルのリスクを示している。
- 非常に高い精度を持つモデルでも、がんの有無ではなくスキャナの解像度といった誤った相関関係に基づいて意思決定を行うことがあるが、これは深層的なプローブと因果的分析を通じて初めて明らかになる。
- AIに対する真の信頼は、単なる説明だけでなく、監査可能性、フィードバック受容性、意思決定の是正可能性を伴うものでなければならない。しかし、これらは現在の大多数のXAIシステムに欠けている。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。