[論文レビュー] IROF: a low resource evaluation metric for explanation methods

Laura Rieger, Lars Kai Hansen|arXiv (Cornell University)|Mar 9, 2020

Explainable Artificial Intelligence (XAI)参考文献 25被引用数 9

ひとこと要約

IROF は、画像の領域をその関連性に基づいて除去することで、モデルの信頼度の低下を測定する、軽量で自動化された機械学習の説明手法評価メトリクスである。人的な評価を不要とし、計算コストを最小限に抑えつつ、信頼性の高い効率的評価を可能にし、モデルの精度と解釈可能性のトレードオフを明らかにし、低リソース環境におけるスケーラビリティとロバスト性において、先行手法を上回る性能を示す。

ABSTRACT

The adoption of machine learning in health care hinges on the transparency of the used algorithms, necessitating the need for explanation methods. However, despite a growing literature on explaining neural networks, no consensus has been reached on how to evaluate those explanation methods. We propose IROF, a new approach to evaluating explanation methods that circumvents the need for manual evaluation. Compared to other recent work, our approach requires several orders of magnitude less computational resources and no human input, making it accessible to lower resource groups and robust to human bias.

研究の動機と目的

• 機械学習における説明手法の信頼性の高い、スケーラブルな評価メトリクスの欠如に取り組む。
• 人的評価に依存することを排除し、これは高コストであり、バイアスを含み、低リソース環境では現実的ではない。
• モデルの推論と画像セグメンテーションのみを用いて、説明品質を評価する計算効率の高いメトリクスを開発する。
• 特に低・中所得国における医療画像分野のディープラーニングモデルの解釈可能性を評価する。
• 異なるアーキテクチャやデータセット間で説明手法を比較するための定量的で客観的なベンチマークを提供する。

提案手法

• IROF は、画素間の相関を低減するために、従来の画像セグメンテーションを用いて入力画像を一貫性のある領域に分割する。
• 与えられた説明手法に基づき、各領域の平均関連性を計算し、関連性が高い順に領域をランク付けする。
• 最も関連性の高い領域から順に反復的に除去する。領域のピクセル値は、データセット全体の平均値に置き換える。
• 各除去ステップの後、モデルのクラススコアを記録し、領域除去に伴う信頼度低下のカーブを形成する。
• IROF スコアは、このカーブの正規化積分として計算され、1つの領域を除去した際の信頼度低下の合計を表す。
• この手法は、ImageNet や皮膚腫瘍分類のための ISIC など、複数のモデルとデータセットに適用された。

実験結果

リサーチクエスチョン

• RQ1 人的アノテーションや高価な再トレーニングを要せず、説明手法を評価することは可能か？
• RQ2 IROF の計算コストは、ROAR などの既存メトリクスと比較してどの程度か？
• RQ3 異なるデータセットやアーキテクチャにおいて、説明手法の順位は一貫しているか？
• RQ4 IROF で測定した場合、モデルの精度と解釈可能性の間にトレードオフが存在するか？
• RQ5 異なる説明手法は、特に皮膚がん分類の医療画像分野でどの程度の性能を示すか？

主な発見

• IROF は ROAR よりも計算コストが桁違いに低く、低リソース研究グループにとって実用的である。
• LIME を除くすべての説明手法が、ImageNet においてランダムベースラインとソーベルエッジ検出器を上回った。これは、有意義な特徴を捉えていることを示している。
• モデルの精度と IROF スコアの間に強い逆相関が確認された。精度が高いモデルは、解釈可能性が低い傾向にあった。
• SmoothGrad と GradCAM は、ISIC を含む複数のアーキテクチャとデータセットで一貫して上位にランクされた。これは、医療応用において優れた信頼性を持つことを示唆している。
• ISIC データセットでは、IROF スコアが ImageNet よりも顕著に低く、皮膚腫瘍診断は自然画像分類よりも本質的に解釈が難しいことを示している。
• ImageNet と ISIC の両方で説明手法の順位が一貫しており、IROF がデータセット固有のアーチファクトではなく、手法の本質的特性を捉えていることが示された。