[論文レビュー] Directions for Explainable Knowledge-Enabled Systems

Shruthi Chari, Daniel M. Gruen+2 more|arXiv (Cornell University)|Mar 17, 2020

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本論文は、ユーザー中心的、文脈認識型、プロヴァンスセンシティブ型の説明を重視する、説明可能で知識を活用するAIシステムのための9種類の説明タイプの分類法を提唱する。神経的記号論理的推論、意味的表現、分散型台帳技術（DLT）などの技術を統合することで、AIの説明における信頼性、理解可能性、因果関係の強化を図り、ユーザーのニーズと状況的文脈に適合するハイブリッドシステムの発展を促進する。

ABSTRACT

Interest in the field of Explainable Artificial Intelligence has been growing for decades and has accelerated recently. As Artificial Intelligence models have become more complex, and often more opaque, with the incorporation of complex machine learning techniques, explainability has become more critical. Recently, researchers have been investigating and tackling explainability with a user-centric focus, looking for explanations to consider trustworthiness, comprehensibility, explicit provenance, and context-awareness. In this chapter, we leverage our survey of explanation literature in Artificial Intelligence and closely related fields and use these past efforts to generate a set of explanation types that we feel reflect the expanded needs of explanation for today's artificial intelligence applications. We define each type and provide an example question that would motivate the need for this style of explanation. We believe this set of explanation types will help future system designers in their generation and prioritization of requirements and further help generate explanations that are better aligned to users' and situational needs.

研究の動機と目的

• 複雑で高リスクな分野における説明可能AIの増大するニーズに対応し、ユーザーの理解、文脈、信頼性に焦点を当てる。
• メカニズム的またはモデル固有の推論に依存する現在のAI説明手法の限界を特定する。
• 実世界のAIアプリケーションに適した、多様な説明タイプを統合した包括的でユーザー指向の説明フレームワークを構築する。
• 因果的推論、意味的モデリング、DLTを組み合わせることで、プロヴァンスと信頼性を確保するハイブリッドAIシステムを発展させる。
• システム設計者がユーザーのニーズと状況的文脈に基づいて説明タイプを選択・優先するための構造的メソッドを提供する。

提案手法

• AI、認知科学、社会科学の文献から、ユーザーの文脈と理解可能性に焦点を当てて、9種類の説明タイプの分類を統合的に構築する。
• 神経的記号論理的AI手法を統合し、記号的推論と機械学習の解釈可能性を組み合わせることで、因果的かつ透明な説明を実現する。
• 意味的表現を活用して知識と説明構造をモデル化し、文脈認識型で詳細な説明を可能にする。
• 分散型台帳技術（DLT）を適用して、特に分散型または敵対的環境において、AI意思決定のプロヴァンス、追跡可能性、信頼性を確保する。
• ヘルスインフォマティクス分野（HEALSプロジェクト）および自律システム分野（UAV、スウォームロボティクス）の事例研究を通じて、実世界の環境における説明タイプの妥当性を検証する。
• 因果的、対照的、反事実的など複数の説明タイプを組み合わせたハイブリッド説明アーキテクチャを提唱し、多様なユーザーのニーズと状況的要請に応える。

Figure 1 : A partial conceptual framework mapping explanation types capable of being generated by explainable AI methods to the reasoning employed by users [Image taken from Lim et al. [ 7 ] and Wang et al. [ 8 ] ]. For the full framework see Wang et al. [ 8 ] .

実験結果

リサーチクエスチョン

• RQ1 複雑なAIシステムにおいて、ユーザーの理解、信頼性、意思決定支援に最も効果的な説明タイプは何か？
• RQ2 機械的モデルトレースにとどまらず、ユーザーの文脈、好み、状況的ニーズに適応できるように説明システムをどのように設計できるか？
• RQ3 神経的記号論理的AIと意味的モデリングは、説明の解釈可能性と整合性をどのように向上させることができるか？
• RQ4 分散型台帳技術（DLT）は、分散型または敵対的環境において、AI意思決定のプロヴァンスと信頼性をどのように強化できるか？
• RQ5 透明性と使いやすさを両立させる実世界のAIアプリケーションにおいて、最も効果的な説明タイプのハイブリッド組み合わせは何か？

主な発見

• 本論文は、因果的、対照的、反事実的、手順的など、ユーザーのニーズと文脈に応じた9種類の明確に区別された説明タイプを特定・定義している。
• 現在のAIシステムは、モデルレベルの透明性を提供しても、エンドユーザーにとって理解可能または実行可能ではない説明を提供する傾向がある。
• 複数の説明タイプ（例：因果的＋反事実的）を組み合わせたハイブリッド説明システムは、人間とAIの共同意思決定や推論をより効果的に支援する。
• 分散型台帳技術（DLT）により、AI意思決定の検証可能で改ざん不能なプロヴァンスが実現され、UAV や IoT システムなどの分散型・高リスク環境における信頼性が向上する。
• 説明の意味的表現は文脈認識を高め、ユーザーのプロファイルや状況に応じて説明の形式や詳細度を動的に適応可能にする。
• 神経的記号論理的手法は、ブラックボックス型モデルの挙動と記号的推論の間のギャップを埋め、ドメイン知識に基づいた解釈可能で根拠のある説明を可能にする。

Figure 2 : A representation of Pearl’s cause-effect model [ 32 , 33 ] where $Q=P(Y|do(X))$ , where $X$ has an effect on $Y$ and both depend on Z. Hence, he formulated the overall problem as a Bayesian equation in that $E_{z}=\sum_{z}P(Y|X,Z)P(Z)$ . Pearl provides an intuitive example [ 32 ] of gende