[論文レビュー] An Empirical Evaluation of the Rashomon Effect in Explainable Machine Learning

Sebastian Müller, Vanessa Toborek+4 more|arXiv (Cornell University)|Jun 27, 2023

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本稿は、4つの多様なデータセットを用いて、解釈可能機械学習におけるRashomon効果を実証的に調査している。モデル、データ、および属性手法のばらつきを評価した結果、ハイパーパrameterチューニングが安定した説明において極めて重要であることが示された。また、手法間の合意不一致は広範かつ一貫性がなく、類似度メトリクスが説明の多様性の認識に顕著に影響することを明らかにした。これは、説明を認識的ツールとしての信頼性に疑問を呈するものである。

ABSTRACT

The Rashomon Effect describes the following phenomenon: for a given dataset there may exist many models with equally good performance but with different solution strategies. The Rashomon Effect has implications for Explainable Machine Learning, especially for the comparability of explanations. We provide a unified view on three different comparison scenarios and conduct a quantitative evaluation across different datasets, models, attribution methods, and metrics. We find that hyperparameter-tuning plays a role and that metric selection matters. Our results provide empirical support for previously anecdotal evidence and exhibit challenges for both scientists and practitioners.

研究の動機と目的

• Rashomon効果（異なる戦略をとる高精度な複数のモデル）が解釈可能機械学習（XAI）の信頼性に与える影響を調査すること。
• モデル固有のハイパーパrameterチューニングが属性手法の安定性に与える影響を評価すること。
• 異なるメトリクスとモデルアーキテクチャを用いた説明比較の整合性と信頼性を評価すること。
• 実世界の状況における属性手法間の解法多様性と不一致の程度を定量化すること。
• XAI応用における説明の一貫性に関する長年の主観的懸念を、実証的根拠で裏付けること。

提案手法

• 同一モデル・同一手法でハイパーパrameterを変化させた場合の数値的安定性（同じモデル、同じ手法、異なるハイパーパramータ）、異なるモデル重みを用いた解法多様性（同じ手法、異なるモデル重み）、および同じモデルに対して異なる手法を用いた不一致（異なる手法、同じモデル）の3つの異なる比較シナリオを統一的に実証評価した。
• 4つの異なるモダリティのデータセット（表形式：German Credit、Adult、画像：CIFAR-10、テキスト：AG News）を用い、5つの一般的な属性手法（例：Integrated Gradients、Grad-CAM、LIME）を適用した。
• 単純な（例：ユークリッド距離）および人間中心の類似度メトリクス（例：サイン不一致、特徴不一致、KS、LI）を用いて、属性スコアの類似度を比較した。
• 説明出力の感受性と安定性を評価するために、各モデルごとに広範なハイパーパrameterチューニングを実施した。
• 平均距離、分散、およびデータセット全体でのランクの一貫性といった統計的指標を用いて結果を評価した。
• Rashomon効果という一貫した理論的枠組みの下で、説明比較の3つの異なる視点を統合する構造的フレームワークを用いた。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパrameterチューニングは、異なるモデルにおいて属性説明の安定性にどのように影響するか？
• RQ2 同じデータで学習された異なるモデルインスタンスにおいて、解法多様性（すなわち、説明戦略のばらつき）はどの程度顕在化するか？
• RQ3 異なる類似度メトリクスを用いて評価した場合、属性手法のランク付けはどの程度一貫しているか？
• RQ4 類似度メトリクスの選択が、属性手法間の不一致の認識レベルに顕著に影響を与えるか？
• RQ5 多様なデータセットとモデルアーキテクチャをまたいで、一貫性があり信頼できる説明比較を達成できるか？

主な発見

• ハイパーパrameterチューニングはモデル固有である：属性手法の最適な設定はモデルやデータセットによって顕著に異なるため、安定した説明を得るにはモデルごとのチューニングが不可欠である。
• 不一致に基づくメトリクス（例：サイン不一致、特徴不一致）は、ユークリッド距離よりも距離が大きく、分散も顕著に高くなる傾向にあり、特に複雑なモデルで顕著であった。
• 摂動に基づくメトリクス（KS、LI）は、最も一貫性のある性能を示し、分散が最小であった。これは、複数モデル間の説明比較においてより信頼性が高いことを示唆している。
• 不一致ベースのメトリクスを用いた場合、すべてのデータセットで属性手法の順位付けに一貫性が得られず、手法比較における高い不安定性が示された。
• 不一致メトリクスを用いる場合、妥当な説明戦略の解法空間は非常に広く、説明を認識的ツールとして信頼する際の課題を強調している。
• 本研究は、類似した性能を示すモデル間で説明を再利用することは、臨床的・重要な応用において信頼できず、誤解を招く可能性があるという定量的証拠を提供した。