[論文レビュー] Semantic Explanations of Predictions

Freddy Lécué, Jiewen Wu|arXiv (Cornell University)|May 27, 2018

Explainable Artificial Intelligence (XAI)参考文献 21被引用数 7

ひとこと要約

本稿では、意思決定境界に近い代表的な訓練データポイントを抽出し、ドメイン固有のオントロジーを用いて分野固有の概念を導出し、一様な説明と対照的な説明をランク付けすることで、人間中心で意味的に豊かな説明を生成する後処理説明手法を提案する。主な貢献は、モデルの予測と意味的推論を統合するフレームワークであり、現実世界の知識に基づいた情報豊かで対照的かつユーザー関連の説明を生み出すことにある。

ABSTRACT

The main objective of explanations is to transmit knowledge to humans. This work proposes to construct informative explanations for predictions made from machine learning models. Motivated by the observations from social sciences, our approach selects data points from the training sample that exhibit special characteristics crucial for explanation, for instance, ones contrastive to the classification prediction and ones representative of the models. Subsequently, semantic concepts are derived from the selected data points through the use of domain ontologies. These concepts are filtered and ranked to produce informative explanations that improves human understanding. The main features of our approach are that (1) knowledge about explanations is captured in the form of ontological concepts, (2) explanations include contrastive evidences in addition to normal evidences, and (3) explanations are user relevant.

研究の動機と目的

• 医療や金融など高リスク分野における機械学習モデルの解釈可能性の欠如に対処する。
• 意味的に意味のあるで文脈に即した説明を生成することで、人間がモデルの予測を理解しやすくする。
• 社会科の知見に基づき、人間の説明行動に裏付けられた対照的推論（「なぜyではなくy′か？」）を統合する。
• ドメインオントロジーを活用して、生のデータポイントを解釈可能な意味的概念に変換するフレームワークを開発する。
• ユーザーが説明セットのうち、認識された関連性に基づいて選択可能な順序付けられた説明を可能にする。

提案手法

• テストインスタンスの局所的近傍に位置し、意思決定境界に近い代表的な訓練データポイントを選択し、顕著な特徴を捉える。
• ドメイン固有のオントロジーを用いて、選択されたデータポイントから意味的概念を抽出・符号化し、生の特徴を人間が理解できる用語に変換する。
• 代表的セット内の正例予測に共通する意味的概念の集合として一様な説明を計算する。
• 代表的セット内の正例群と負例群の間の意味的差異を特定することで、対照的説明を導出する。
• 対照的概念との意味的類似度と距離のしきい値を用いて説明をランク付けし、最も情報量が多く関連性の高い概念を優先する。
• 対照的概念に最も類似した概念を優先するランク付け戦略を適用し、強い類似性がない場合にはフォールバック順序を用いる。

実験結果

リサーチクエスチョン

• RQ1 訓練データから抽出した意味的概念を用いて、人間の理解を高めるような機械学習予測の説明はどのように可能か？
• RQ2 「なぜyではなくy′か？」という対照的説明は、モデル意思決定の理解をどのように向上させるか？
• RQ3 ドメインオントロジーは、生のデータ特徴を解釈可能で意味のある概念に変換するために効果的に活用できるか？
• RQ4 モデルの確率順位に依存せず、ユーザーの関連性とパーソナライズを後処理説明システムに統合する方法は何か？
• RQ5 意味的推論を通じて一様な証拠と対照的証拠を統合することで、説明の情報量を最適化する方法は何か？

主な発見

• 本手法は、予測に強く関連するキーワード「TheSilentGeneration」と「OperationIn1960s」を特定することで、一様かつ対照的な意味的説明を効果的に生成した。
• 対照的説明は一様な説明よりも情報量が多く、特に「TheGIGeneration」と「OperationIn1950s」のような概念が分類結果を説明する差異を明確にした。
• 意味的類似度と距離のしきい値（σ）の活用により、説明のランク付けが効果的に行われ、最も関連性の高い概念が優先順位に上がった。
• 最終的な説明セットでは、「TheSilentGeneration」が対照的説明で最初に表示され、その強い判別力が反映された。
• フレームワークは、意味的アップリフトとトレーニングデータにおける概念頻度が、説明における概念の重み割り当てに有意に寄与することを示した。
• すべての予測ラベルを正例とみなして多ラベル拡張が可能であり、ユーザー指定のプルーニングにより関連性の低いクラスを除外できる。