[論文レビュー] Knowledge-based XAI through CBR: There is more to explanations than models can tell

Rosina O. Weber, Manil Shrestha+1 more|arXiv (Cornell University)|Aug 23, 2021

Explainable Artificial Intelligence (XAI)参考文献 47被引用数 4

ひとこと要約

本稿では、機械学習モデルが単独で提供できる説明を超えて、ドメイン知識と分野専門家の知見を追加の特徴量として統合することで、説明の質を向上させる知識ベース型説明可能AI（KBXAI）を提案する。CBR（事例ベース推論）を用い、画像データでは25%から32.5%の精度上昇、テキストデータでは63.43%から72.64%の向上を示した。これは、モデル外の知識が多様なステークホルダーにとって説得力のある説明を大幅に向上させることを示している。

ABSTRACT

The underlying hypothesis of knowledge-based explainable artificial intelligence is the data required for data-centric artificial intelligence agents (e.g., neural networks) are less diverse in contents than the data required to explain the decisions of such agents to humans. The idea is that a classifier can attain high accuracy using data that express a phenomenon from one perspective whereas the audience of explanations can entail multiple stakeholders and span diverse perspectives. We hence propose to use domain knowledge to complement the data used by agents. We formulate knowledge-based explainable artificial intelligence as a supervised data classification problem aligned with the CBR methodology. In this formulation, the inputs are case problems composed of both the inputs and outputs of the data-centric agent and case solutions, the outputs, are explanation categories obtained from domain knowledge and subject matter experts. This formulation does not typically lead to an accurate classification, preventing the selection of the correct explanation category. Knowledge-based explainable artificial intelligence extends the data in this formulation by adding features aligned with domain knowledge that can increase accuracy when selecting explanation categories.

研究の動機と目的

• 現在のXAI手法がモデルの内部構造に依存するという限界に対処し、これはしばしば多様なステークホルダーの視点を捉えきれない。
• モデルベースの説明と、人間ユーザーが必要とする豊富で文脈依存的な情報のギャップを埋める。
• ドメイン知識と専門家の知見を説明選択に統合するフレームワークを構築し、精度と関連性を向上させる。
• 統一されたCBRベースのアプローチを用いて、表形式、画像、テキストといった異種のデータタイプにおいてKBXAIの有効性を実証する。
• モデル出力やデータパターンに依存するのではなく、ドメインエキスパートの知見に基づいて説明カテゴリを定義する手法を確立する。

提案手法

• CBRフレームワーク内での教師あり分類問題としてKBXAIを定式化し、事例の問題にはモデル入力と出力を含め、事例の解決策はドメイン知識から導かれた説明カテゴリとする。
• 専門家の入力を用い、説明埋め込みのクラスタリングにより説明カテゴリを定義し、コサイン類似度を用いて代表的なカテゴリを同定する。
• センシティビティマップ、プロトタイプ類似度（例：トラック／カエル）、構造的特徴（例：目／鼻の三角形）といった、常識的またはドメイン知識からの知識ベース特徴を追加することで、モデル性能を向上させる。
• モデル出力（例：センシティビティ）および外部知識（例：プロトタイプ埋め込み）から得られる名義的および連続的特徴を用い、入力表現を拡張する。
• ケース拡張学習を適用：拡張された特徴量で分類器を学習させ、各インスタンスに対して最も適切な説明カテゴリを予測する。
• 埋め込みベースの類似度測定法（例：コサイン類似度）を用い、インスタンスを説明カテゴリにマッピングし、信頼度が低いまたは重複するカテゴリをフィルタリングする。

実験結果

リサーチクエスチョン

• RQ1 ドメイン知識と専門家の知見を、モデルベースの帰属説明を超えて説明の質を向上させるために、どのように体系的に統合できるか？
• RQ2 どのような種類の知識ベース特徴が、多様なデータモodal（モダリティ）における説明カテゴリ選択の精度を向上させるか？
• RQ3 モデル外の知識を統合することで、表形式、画像、テキストデータにおける説明分類の性能にどのような影響を与えるか？
• RQ4 CBRベースのフレームワークは、異種のデータタイプにわたり説明生成を統合的に効果的に行えるか、かつ解釈可能性と精度を維持できるか？
• RQ5 モデル由来の特徴と知識由来の特徴の間で、説明選択精度の向上に寄与する相対的寄与度はどの程度か？

主な発見

• カエル類似度（32.5%精度）やドッグ固有の構造的特徴（例：目／鼻の三角形）といった知識ベース特徴を追加することで、画像データにおける説明分類精度が、ベースラインの24%から顕著に向上した。
• 画像タスクでは、モデル由来のセンシティビティと知識ベース特徴（例：プロトタイプ類似度）の組み合わせにより、精度が24%から25%、および32.5%に上昇した。後者はデータおよびモデルの両方に対して外在的であった。
• テキストベースの引用推薦タスクにおいて、わずか2つの知識ベース特徴を用いたにもかかわらず、精度が14.5%向上（63.43%から72.64%）した。
• 説明カテゴリは専門家の入力と説明埋め込みのクラスタリングから導出され、テストインスタンスのカバー率に基づいて12の代表的カテゴリが選択された。
• 常識的知識からの特徴（例：学習データに存在しない動物のプロトタイプ類似度）が強く性能を示し、モデル外の説明強化においてその価値を実証した。
• 知識ベース特徴の成功にもかかわらず、同手法は名義的特徴に依存する点と、知識取得のスケーラビリティの制限に起因する課題を抱えており、今後の研究では自動知識学習の必要性が浮き彫りになった。