[論文レビュー] Minimalistic Explanations: Capturing the Essence of Decisions

Martin Schuessler, Philipp Weiß|arXiv (Cornell University)|May 8, 2019

Explainable Artificial Intelligence (XAI)参考文献 11被引用数 5

ひとこと要約

本稿では、LIMEと人間が生成したアンカーベースの最小限の事後解釈を用いて、画像分類の解釈を検討し、その結果、このような解釈は、説明対象の物体を識別する際のユーザーの正確性を顕著に向上させること（75.64% 対 18.52%）、また人間が生成した解釈は79%高い信頼度を得ることを明らかにした。研究は、最小限の解釈が意思決定の本質を捉えることができるが、画像領域間の文脈的関係を伝えるには限界があることを示している。

ABSTRACT

The use of complex machine learning models can make systems opaque to users. Machine learning research proposes the use of post-hoc explanations. However, it is unclear if they give users insights into otherwise uninterpretable models. One minimalistic way of explaining image classifications by a deep neural network is to show only the areas that were decisive for the assignment of a label. In a pilot study, 20 participants looked at 14 of such explanations generated either by a human or the LIME algorithm. For explanations of correct decisions, they identified the explained object with significantly higher accuracy (75.64% vs. 18.52%). We argue that this shows that explanations can be very minimalistic while retaining the essence of a decision, but the decision-making contexts that can be conveyed in this manner is limited. Finally, we found that explanations are unique to the explainer and human-generated explanations were assigned 79% higher trust ratings. As a starting point for further studies, this work shares our first insights into quality criteria of post-hoc explanations.

研究の動機と目的

• 最小限の事後解釈が、画像分類における意思決定の本質を効果的に伝えることができるかどうかを評価すること。
• ユーザーの正確性と信頼度の観点から、人間が生成した解釈とアルゴリズムによる解釈（LIME）を比較すること。
• 解釈の独自性と人間の直感との整合性が、ユーザーの理解に与える役割を調査すること。
• 人間の認知プロセスと知覚に基づいた、事後解釈の品質基準を特定すること。
• 現在の解釈手法が、関係性や文脈的要因に基づく意思決定要因を捉える際に、どのような限界を有するかを明らかにすること。

提案手法

• 参加者には、デジタル時計とボトルオープナーの画像に対して、人間が生成したアンカーやLIMEが生成したアンカーの14枚の解釈が提示された。
• アンカーは、人間がラベル付けに決定的であるとみなした領域（例：「時計」や「キーリング」）をマークすることで作成された。一方、LIMEは特徴の重要度に基づいてサリエンシーマップを計算した。
• アンカーは印刷され、切り出し、滑らかに処理されて視覚的提示の標準化と知覚的ノイズの低減が行われた。
• 参加者は、解釈のみに基づいてラベル付けされた物体を特定する認識タスクを実施した。
• 信頼度は5段階リクルート尺度で測定され、高いスコアは解釈に対する高い自信を示した。
• パイロットスタディでは便宜的サンプリングを用い、20名の参加者を対象とし、解釈の有効性について定性的および定量的評価が行われた。

実験結果

リサーチクエスチョン

• RQ1 最小限の事後解釈は、ユーザーが分類対象の物体を識別する際の正確性を顕著に向上させることができるか？
• RQ2 人間が生成した解釈の信頼性は、アルゴリズムで生成されたものと比べてどのように異なるか？
• RQ3 解釈は人間の直感や認知的期待とどの程度整合しているか？
• RQ4 解釈はその出所（人間対アルゴリズム）に固有のものであり、ユーザーの認識にどのように影響するか？
• RQ5 解釈は、ラベルが割り当てられた理由だけでなく、他のラベルが選ばれなかった理由も伝えることができるか？

主な発見

• 人間が生成した解釈を提示された際、参加者の75.64%が正しく物体を特定したが、LIMEが生成した解釈ではわずか18.52%にとどまった。
• 人間が生成した解釈は、5段階尺度で3.89（平均）の信頼度を得たのに対し、LIMEの解釈は2.17であった。信頼度は79%高いと評価され、より高い信頼性が感じられた。
• 参加者たちは、人間のアンカーとアルゴリズムのアンカーを容易に区別でき、それぞれの解釈が固有のものであると認識した。
• 参加者らは、人間の解釈が全体の形状や領域間の空間的共起性に注目しているのに対し、LIMEの解釈は部分領域のパターンに焦点を当てていると報告した。
• 本研究では、アンカーが意思決定の理由を数点しか伝えることができないことが判明し、画像領域間の複雑な関係性を表現する能力に制限があることが示された。
• 参加者たちは、解釈が直感と整合していると期待しており、解釈同士が重複したり類似していたりすると驚いた。これは、明確で文脈を含んだ独自の解釈をユーザーが期待していることを示している。