[論文レビュー] Foundations of Explainable Knowledge-Enabled Systems

Shruthi Chari, Daniel M. Gruen+2 more|arXiv (Cornell University)|Mar 17, 2020

Explainable Artificial Intelligence (XAI)参考文献 68被引用数 15

ひとこと要約

本稿は、エキスパートシステム、認知アシスタント、セマンティックウェブ技術、機械学習からの歴史的アプローチを統合することで、説明可能で知識を活用するシステムの統合的フレームワークを提案する。説明および説明可能で知識を活用するシステムの、ユーザーおよび文脈に配慮した定義を導入し、トレーサビリティ、プロヴァンエンス、適応的説明生成を強調することで、多様な分野およびユーザーの役割におけるAIシステムの信頼性と使いやすさを向上させる。

ABSTRACT

Explainability has been an important goal since the early days of Artificial Intelligence. Several approaches for producing explanations have been developed. However, many of these approaches were tightly coupled with the capabilities of the artificial intelligence systems at the time. With the proliferation of AI-enabled systems in sometimes critical settings, there is a need for them to be explainable to end-users and decision-makers. We present a historical overview of explainable artificial intelligence systems, with a focus on knowledge-enabled systems, spanning the expert systems, cognitive assistants, semantic applications, and machine learning domains. Additionally, borrowing from the strengths of past approaches and identifying gaps needed to make explanations user- and context-focused, we propose new definitions for explanations and explainable knowledge-enabled systems.

研究の動機と目的

• 医療や金融など、高リスク分野に展開されるAIシステムにおける説明可能性の増大するニーズに対応すること。
• ユーザーの文脈、役割、事前の知識を十分に考慮しない既存の説明可能性アプローチの限界を特定すること。
• エキスパートシステム、セマンティックウェブ、認知アシスタント、機械学習にわたる多様な歴史的アプローチを統合し、一貫性のあるフレームワークを構築すること。
• ユーザー中心の視点から「説明」と「説明可能で知識を活用するシステム」を再定義し、文脈に配慮した説明、パーソナライゼーション、プロヴァンエンスを強調すること。
• 解釈可能性、知識表現、適応的説明生成を統合する次世代ハイブリッドAIシステムの基盤を築くこと。

提案手法

• エキスパートシステム、認知アシスタント、セマンティックウェブアプリケーション、機械学習の4分野における説明可能AIの歴史的レビューを実施する。
• 一般的なシステム特性である「トランスパレント性」と、特定の意思決定の正当化である「説明可能性」とを区別することで、概念的基盤を明確化する。
• ユーザーの文脈、役割、マインドマップ構築を重視した、説明および説明可能で知識を活用するシステムの新しい定義を提案する。
• 過去のシステムの長所を統合する：トレースベースの説明（エキスパートシステム）、プロヴァンエンスモデリング（セマンティックウェブ）、モジュラーでタスクベースの説明生成（認知アシスタント）、モデルに依存しない解釈可能性（LIME、SHAP）。
• ユーザー固有のニーズとデータのルートを反映する「プロヴァンエンスに配慮した」および「文脈に配慮した」説明の概念を導入する。
• 知識グラフと因果推論を活用して、複雑なブラックボックスモデルに対する直感的で解釈可能な説明を提供する。

Figure 1 : AIR Justification or Explanations View: Once a user clicks the “Why?” button, they will see a description appear in the “Because” box, and the premises that support the justification appear in the “Premises” box. When the user clicks the “More Information” button, the descriptions corresp

実験結果

リサーチクエスチョン

• RQ1 AIシステムにおける説明は、どのようにして異なるユーザーの役割（例：医師、患者、管理者）に合わせて文脈に配慮し、パーソナライズできるか？
• RQ2 トランスパレント性と説明可能性の主な違いは何か？知識を活用するシステムにおいて、説明可能性を体系的に定義する方法は？
• RQ3 過去のAIシステム（例：ルールベースのトレース、プロヴァンエンスモデリング）から得られる、現代のハイブリッドAIシステムに統合可能な基盤的要素は何か？
• RQ4 知識グラフと因果モデルは、ブラックボックスの機械学習モデルの解釈性をどのように向上させられるか？
• RQ5 現在の説明可能性技術には、ユーザーのマインドマップ形成および公平性の懸念に対処する点でどのような限界があるか？

主な発見

• 本稿は、一般的なシステム特性である「トランスパレント性」と、文脈における特定の意思決定の正当化を可能にする「説明可能性」との明確な違いを確立している。
• ユーザー中心の説明は、信頼の構築、効果的な協働、およびユーザーとシステムの両方におけるマインドマップの構築を支援するために不可欠である。
• 歴史的システムとしてのエキスパートシステムは、強固なトレースベースの説明を提供したが、セマンティックウェブ技術は、証拠と推論の細分化されたプロヴァンエンスモデリングを可能にした。
• 認知アシスタントは、モジュラーでタスクベースの説明生成を示し、選択的かつ適応的な説明の提供を可能にした。
• LIME や SHAP といったモデルに依存しない手法は、ブラックボックスモデルの解釈性を向上させるが、因果推論やユーザー固有の文脈を捉える点で依然として限界がある。
• 知識グラフ、因果推論、および説明可能性のための分類的チェックの統合は、ハイブリッドAIシステムの解釈性と信頼性を顕著に向上させることができる。

Figure 2 : An activity flow diagram of the Integrated Cognitive Explanation Environment (ICEE) that was utilized to explain task-processing systems in the CALO project taken from McGuinness et al. [ 7 ] .