[論文レビュー] Carefully choose the baseline: Lessons learned from applying XAI attribution methods for regression tasks in geoscience

Antonios Mamalakis, Elizabeth A. Barnes+1 more|arXiv (Cornell University)|Aug 19, 2022

Explainable Artificial Intelligence (XAI)被引用数 12

ひとこと要約

本論文は、気象科学分野における回帰タスクにおいて、XAI帰属手法のベースラインの選択が解釈可能性に顕著に影響することを示している。特に、気候変数のニューラルネットワーク予測において、地域気候地図から全球平均気温を予測する全結合ニューラルネットワークを用いて、異なるベースラインが顕著に異なる特徴帰属をもたらし、それぞれが別々の科学的問いに答えていることを示している。研究者が研究文脈に応じて意図的にベースラインを選択する必要があることを強調している。

ABSTRACT

Methods of eXplainable Artificial Intelligence (XAI) are used in geoscientific applications to gain insights into the decision-making strategy of Neural Networks (NNs) highlighting which features in the input contribute the most to a NN prediction. Here, we discuss our lesson learned that the task of attributing a prediction to the input does not have a single solution. Instead, the attribution results and their interpretation depend greatly on the considered baseline (sometimes referred to as reference point) that the XAI method utilizes; a fact that has been overlooked so far in the literature. This baseline can be chosen by the user or it is set by construction in the method s algorithm, often without the user being aware of that choice. We highlight that different baselines can lead to different insights for different science questions and, thus, should be chosen accordingly. To illustrate the impact of the baseline, we use a large ensemble of historical and future climate simulations forced with the SSP3-7.0 scenario and train a fully connected NN to predict the ensemble- and global-mean temperature (i.e., the forced global warming signal) given an annual temperature map from an individual ensemble member. We then use various XAI methods and different baselines to attribute the network predictions to the input. We show that attributions differ substantially when considering different baselines, as they correspond to answering different science questions. We conclude by discussing some important implications and considerations about the use of baselines in XAI research.

研究の動機と目的

• XAI帰属手法のベースライン選択が、気象科学分野の回帰タスクにおける解釈可能性に与える影響を調査すること。
• 異なるベースラインが別々の科学的問いに答えていること、したがって帰属分析から得られる知見に影響を及ぼすことを示すこと。
• 特に気候モデリング応用において、XAI手法におけるベースラインの重要な役割についての文脈認識の欠如が、文献に顕著に見られることを強調すること。
• 大規模な気候シミュレーションアンサンブルを用いた実証的証拠を提供し、帰属結果がベースライン選択に顕著に依存することを示すこと。
• 研究者が意図する科学的問いに応じて適切なベースラインを選択するための指針を提示すること。

提案手法

• 本研究では、SSP3-7.0シナリオ下での気候シミュレーションから得られる年間気温地図を入力として、全球平均気温を予測する全結合ニューラルネットワークを訓練した。
• 複数のXAI帰属手法（例：Integrated Gradients、Grad-CAM、LRP）を、それぞれ異なるベースライン入力を用いて訓練済みモデルに適用した。
• ベースラインにはゼロテンソル、気候平均状態、歴史的気候状態が含まれ、それぞれが帰属のための別々の基準点を表している。
• 帰属は、入力とベースラインとの間のモデル出力の差分として計算され、各手法はベースラインから入力への経路に沿って勾配を統合する方法が異なる。
• 帰属マップを分析することで、ベースラインの選択が特徴重要度の空間的パターンと大きさにどのように影響するかを評価した。
• 研究の妥当性と一般化可能性を確保するため、大規模な歴史的および将来の気候シミュレーションアンサンブルを用いた。

実験結果

リサーチクエスチョン

• RQ1 XAI帰属手法におけるベースライン選択が、気象科学応用の回帰タスクにおける特徴重要度マップに与える影響は何か？
• RQ2 異なるベースラインが、同じニューラルネットワーク予測について、どのように異なる科学的解釈を生じさせるか？
• RQ3 同じモデルと入力に適用しても、XAI手法のベースラインが異なれば、根本的に異なる知見が得られることがあるか？
• RQ4 特に強制的気候シグナルの解釈において、デフォルトまたは検討されていないベースラインを使用することは、XAIにどのような影響を及ぼすか？
• RQ5 研究者が、XAI結果が意図した科学的問いと整合するように、適切なベースラインをどのように選択すべきか？

主な発見

• 同じXAI手法とモデルを用いても、異なるベースラインが顕著に異なる帰属マップを生じさせることから、ベースラインの指定がなければ、帰属が一意的または客観的ではないことが示された。
• ゼロベースラインから気候平均または歴史的ベースラインに移行すると、特徴重要度のパターンが顕著に変化し、特徴重要度の解釈が異なることを反映している。
• 気候システムの物理的現実（例：歴史的平均）を反映するベースラインを用いることで、ゼロのような任意の選択よりも、より解釈可能で科学的に意味のある帰属が得られる。
• ベースラインの選択は、実際の問いを変える：例えば「ゼロからどれほど逸脱しているか？」対「平均状態からどれほど逸脱しているか？」。
• 多くのXAI応用が、検討されていないまたはデフォルトのベースライン選択により、モデル挙動を誤解している可能性が本研究で明らかになった。
• 著者らは、ベースライン選択が意図的かつ文脈特化的でなければならないと結論づけた。どのベースラインも普遍的に最適とは言えない。