[論文レビュー] Evaluating the performance of the LIME and Grad-CAM explanation methods on a LEGO multi-label image classification task

David Cian, Jan van Gemert+1 more|arXiv (Cornell University)|Aug 4, 2020

Explainable Artificial Intelligence (XAI)被引用数 15

ひとこと要約

本研究では、多ラベル画像タスクにおけるレゴブロックを分類する深層学習モデルの説明手法として、LIME と Grad-CAM の有効性を評価する。1,800枚のレゴ画像から構成される独自のデータセットを用いて、著者たちはGrad-CAMが、モデルのコアパフォーマンスのインサイトとユーザーの信頼の両面でLIMEを上回ることを発見した。80%の参加者が信頼性の観点からGrad-CAMを好んだが、両手法を組み合わせることで、互いに補完的なインサイトが得られることがわかった。

ABSTRACT

In this paper, we run two methods of explanation, namely LIME and Grad-CAM, on a convolutional neural network trained to label images with the LEGO bricks that are visible in them. We evaluate them on two criteria, the improvement of the network's core performance and the trust they are able to generate for users of the system. We find that in general, Grad-CAM seems to outperform LIME on this specific task: it yields more detailed insight from the point of view of core performance and 80\\% of respondents asked to choose between them when it comes to the trust they inspire in the model choose Grad-CAM. However, we also posit that it is more useful to employ these two methods together, as the insights they yield are complementary.

研究の動機と目的

• 深層学習モデルがレゴの多ラベル画像分類タスクに適用された場合、LIME と Grad-CAM が説明手法として有効であるかを評価すること。
• 解釈可能性を通じて、これらの説明手法がモデルのコアパフォーマンスをどのように向上させるかを評価すること。
• 人間による評価研究を通じて、各説明手法がユーザーに与える信頼度を測定すること。
• LIME と Grad-CAM を併用することで、単独で使用する場合よりも包括的なインサイトが得られるかどうかを特定すること。
• GitLab および Weights & Biases を通じてコード、モデル重み、データセットへのアクセスを公開することで、再現性を確保すること。

提案手法

• 1,800枚のレゴ画像パッチから構成される独自のデータセットを用いて、畳み込みニューラルネットワーク（CNN）を訓練し、多ラベル形式で可視ブリックの種別を分類する。
• LIME（局所解釈可能モデルに依存しない説明）を適用し、入力ピクセルを変更して局所的・インスタンス固有の説明を生成する。そのために線形のスラグモデルをフィッティングする。
• Grad-CAM（勾配クラス活性化マッピング）を適用し、最終畳み込み層からの勾配情報を活用してクラス活性化マップを生成する。
• 補助的な解釈可能性技術として、カーネル可視化と特徴マップ分析を用い、比較的インサイトを得る。
• 10名の参加者を対象とした盲検、二択強制選択のユーザー研究を実施し、どちらの説明手法がモデルに対する信頼をより高めたかを評価した。
• 参加者の深層学習に関する熟達度を収集し、専門知識の有無が信頼感覚に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 LIME と Grad-CAM は、レゴの多ラベル分類タスクにおける深層学習モデルのコアパフォーマンスを理解する上で、どの程度のインサイトを提供できるか？
• RQ2 LIME と Grad-CAM のうち、どちらの説明手法がモデルの予測に対してより高いユーザーの信頼を生じさせるか？
• RQ3 ユーザーの深層学習に関する熟達度は、説明手法の信頼性の認識に影響を及えるか？
• RQ4 LIME と Grad-CAM を併用することで、互いに補完的なインサイトが得られる程度はどの程度か？
• RQ5 実験結果はどの程度再現可能であり、再現のためにどのようなリソースが提供されているか？

主な発見

• Grad-CAM は、特にスーパーピクセルレベルでの関連画像領域の強調を通じて、モデルの推論プロセスに関する詳細かつ局所的なインサイトを提供する点で、LIME を上回った。
• ユーザーの信頼度評価において、80%の参加者がLIMEよりもGrad-CAMを好んだ。これは、信頼性と透明性の観点でより高い認識があることを示している。
• LIME は局所的摂動と線形近似に依存するため、Grad-CAM の勾配ベースの注目マップと比較して、より不正確で曖昧なセマンティックマップが得られていた。
• 本研究では、LIME と Grad-CAM を併用することで、モデル行動の異なる側面を捉えることのできる補完的インサイトが得られることを発見した。
• 深層学習に熟達した参加者ほど、より洗練された好みを示したが、全体的な傾向としてGrad-CAMの好まれ方の傾向は一貫していた。
• 完全なコードベース、モデル重み、およびデータセットは GitLab および Weights & Biases で公開されており、実験の完全な再現が可能である。