[論文レビュー] Toward Explainable AI for Regression Models

Simon Letzgus, Patrick Wagner+4 more|arXiv (Cornell University)|Dec 21, 2021

Explainable Artificial Intelligence (XAI)被引用数 10

ひとこと要約

本論文は、回帰モデルにおける説明可能なAI（XAI）の理論的根拠に基づくフレームワークを提案し、分類とは異なり回帰分野ではXAIが十分に整備されていないという重要なギャップを埋めることを目的としている。LRP、Integrated Gradients、Shapley値といった手法を、参照値を考慮するアプローチに適合させた。また、再訓練を必要とせず、文脈に応じた参照値を統合できる軽量な再構築技術を導入し、忠実性が保たれ、単位が一貫した説明を可能にした。予測の物理的または通貨的単位をそのまま引き継ぐ説明が可能であり、年齢予測および分子エネルギー予測のタスクで実証された。

ABSTRACT

In addition to the impressive predictive power of machine learning (ML) models, more recently, explanation methods have emerged that enable an interpretation of complex non-linear learning models such as deep neural networks. Gaining a better understanding is especially important e.g. for safety-critical ML applications or medical diagnostics etc. While such Explainable AI (XAI) techniques have reached significant popularity for classifiers, so far little attention has been devoted to XAI for regression models (XAIR). In this review, we clarify the fundamental conceptual differences of XAI for regression and classification tasks, establish novel theoretical insights and analysis for XAIR, provide demonstrations of XAIR on genuine practical regression problems, and finally discuss the challenges remaining for the field.

研究の動機と目的

• 分類とは異なり、回帰タスクに特化した理論的根拠に基づいたXAI手法の不足に取り組むこと。分類タスクに比べて、回帰タスクは現在、十分にカバーされていない。
• 分類と回帰におけるXAIの根本的な概念的差異を特定すること。特に、分類とは異なり、回帰ではクラス境界が存在せず、文脈に応じた参照値の必要性が生じること。
• 説明が意味的で、局所的かつ解釈可能であり、予測と同一単位（物理的または通貨的単位）で表現されるように、参照値に依存する説明フレームワークを構築・検証すること。
• 信号処理および分子物理学分野の実世界の回帰問題において、提案手法の実用的有効性を示すこと。
• 再現可能性と今後の研究を支援するため、コミュニティリソース（xai-regression.org）とオープンソースのコードベースを確立すること。

提案手法

• ユーザーが定義した参照値を組み込むことで、保存則に基づく説明手法（例：Layer-Wise Relevance Propagation（LRP）、Integrated Gradients、Shapley値）を回帰タスクに適応させる。
• モデルの計算グラフを軽量に再構築する技術を導入し、再訓練や複数回の順伝播なしに参照値を統合する。
• 予測の測定単位（例：エネルギー、通貨単位）を説明プロセス全体にわたって保持することで、説明の忠実性を確保する。
• 大規模なCNNを用いた顔の年齢予測や、原子スケールのシミュレーションからの分子エネルギー予測に適応した深層学習モデルにフレームワークを適用する。
• Shapley値に基づく基準説明との比較により、説明の忠実性を検証し、強い経験的一致を示した。
• ベンチマーク実験と実世界の事例研究の組み合わせにより、多様な回帰設定における手法の性能と解釈可能性を評価した。

実験結果

リサーチクエスチョン

• RQ1 既存のXAI手法を、理論的根拠があり、文脈的に意味のある形で回帰タスクに適応させる方法は何か？
• RQ2 参照値の選定が、回帰モデルの説明の解釈可能性と関連性を確保する上で果たす役割は何か？
• RQ3 軽量な再構築アプローチにより、再訓練や繰り返し推論を伴わず、正確で単位が一貫した説明を可能にすることができるか？
• RQ4 参照値に依存する説明は、年齢予測や分子エネルギー推定といった実世界の回帰応用において、どのように解釈可能性を向上させるか？
• RQ5 分類と回帰における説明設計の主な違いは何か？なぜ分類ベースのXAIを直接回帰に適用できないのか？

主な発見

• 提案された参照値に依存するフレームワークにより、回帰モデルに対して忠実で単位が一貫した説明が可能となり、属性割り当てが予測と同一の物理的または通貨的単位で解釈可能となった。
• 軽量な再構築技術により、モデルの再訓練や複数回の評価を必要とせず、参照値を効果的に統合でき、計算効率を維持した。
• 経験的検証により、本手法の属性割り当てと、Shapley値に基づく基準説明との間に強い一致が確認され、手法の忠実性が裏付けられた。
• 本手法は、顔の年齢予測に用いられる深層CNNや、原子スケールのシミュレーションからの分子エネルギー予測モデルなど、複雑な回帰モデルを効果的に説明できた。
• 事例研究では、分子エネルギーの化学的に妥当な説明が得られ、物理的直観と整合する有意義な特徴寄与度が明らかになった。
• 本論文は、分類ベースのXAIを回帰に直接適用すると、クラス境界が存在しないことと、文脈に応じた参照値の必要性を考慮しないことで、誤解を招くか、情報のない説明が得られることを示した。