[論文レビュー] Comparing Explanation Methods for Traditional Machine Learning Models Part 2: Quantifying Model Explainability Faithfulness and Improvements with Dimensionality Reduction

Montgomery L. Flora, Corey K. Potvin+2 more|arXiv (Cornell University)|Nov 18, 2022

Explainable Artificial Intelligence (XAI)被引用数 11

ひとこと要約

本研究では、大気科学分野で用いられる機械学習モデルにおける特徴量ランク付け手法の忠実性を評価し、相関する特徴量を低減した後、順列重要度が最も忠実な手法となることを示している。次元削減は説明可能性の忠実性を著しく向上させ、ランク付けの不確実性を2〜10倍まで低減する。これは気象学的応用におけるより信頼性の高いモデル解釈に向けた実用的アプローチを提供する。

ABSTRACT

Machine learning (ML) models are becoming increasingly common in the atmospheric science community with a wide range of applications. To enable users to understand what an ML model has learned, ML explainability has become a field of active research. In Part I of this two-part study, we described several explainability methods and demonstrated that feature rankings from different methods can substantially disagree with each other. It is unclear, though, whether the disagreement is overinflated due to some methods being less faithful in assigning importance. Herein, "faithfulness" or "fidelity" refer to the correspondence between the assigned feature importance and the contribution of the feature to model performance. In the present study, we evaluate the faithfulness of feature ranking methods using multiple methods. Given the sensitivity of explanation methods to feature correlations, we also quantify how much explainability faithfulness improves after correlated features are limited. Before dimensionality reduction, the feature relevance methods [e.g., SHAP, LIME, ALE variance, and logistic regression (LR) coefficients] were generally more faithful than the permutation importance methods due to the negative impact of correlated features. Once correlated features were reduced, traditional permutation importance became the most faithful method. In addition, the ranking uncertainty (i.e., the spread in rank assigned to a feature by the different ranking methods) was reduced by a factor of 2-10, and excluding less faithful feature ranking methods reduces it further. This study is one of the first to quantify the improvement in explainability from limiting correlated features and knowing the relative fidelity of different explainability methods.

研究の動機と目的

• 極端な天候および道路表面温度予測に用いられる機械学習モデルにおける、さまざまな特徴量ランク付け手法の忠実性を評価すること。
• 特徴量の相関が説明可能性手法間の不一致をどのように拡大させるか、および次元削減がこの問題を緩和するかを調査すること。
• 高次元で相関の高い特徴量を有する実世界の地球科学データセットにおいて、どの説明手法が最も忠実であるかを同定すること。
• 低忠実性の手法を除外し、特徴量削減技術を適用することで、ランク付けの不確実性を低減すること。
• 気象学的機械学習応用における信頼性の高い説明可能性手法の選定に関する実務的ガイダンスを提供すること。

提案手法

• 本研究では、WoFS出力からの極端な天候予測および凍結温度以下の道路表面温度予測の2つの大気科学分野のデータセットを用いる。
• SHAP、LIME、ALE分散、ロジスティック回帰係数、およびさまざまな順列重要度のバリエーション（例：フォワード/バックワードパス、シングル/マルチパス）を含む、複数の特徴量ランク付け手法を評価する。
• 忠実性はCovertら（2020）が提案した手法を応用して定量化され、真のラベルが存在しない状況でも、特徴量重要度とモデル性能の変化の整合性を測定することで忠実性を推定する。
• 相関する特徴量は次元削減技術を用いて低減され、その影響が説明の忠実性およびランク付けの不確実性に与える影響を評価する。
• ランク付けの不確実性は、異なる手法間での特徴量ランクのばらつきとして計算され、低忠実性の手法を除外した後の不確実性低減度を定量化する。
• ベイズ最適化を用いてハイパーパrameterを最適化したロジスティック回帰およびランダムフォレストモデルを、元の特徴量セットおよび削減済み特徴量セット上で学習させ、分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 さまざまな特徴量ランク付け手法は、実際のモデル性能への寄与度に対して、どの程度忠実であるか？
• RQ2 特徴量の相関が、説明手法間の不一致をどの程度拡大させるか？
• RQ3 次元削減は、特徴量ランク付け手法の忠実性にどのように影響するか？
• RQ4 低忠実性の説明手法を除外することで、ランク付けの不確実性は低減するか？
• RQ5 相関する特徴量が除去された後、どの特徴量ランク付け手法が最も忠実になるか？

主な発見

• 次元削減の前は、SHAP、LIME、ALE分散、ロジスティック回帰係数が、相関特徴量の悪影響を受ける順列重要度よりも一般的に忠実性が高かった。
• 相関特徴量を低減した後、伝統的な順列重要度が最も忠実な手法となり、他の手法を上回った。
• ランク付けの不確実性（異なる手法間での特徴量ランクのばらつき）は、次元削減により2〜10倍まで低減された。
• 忠実性が低い特徴量ランク付け手法を除外することで、さらにランク付けの不確実性が低減した。これは、手法選定が解釈の信頼性を向上させることを示している。
• 手法間の忠実性の差は次元が高くなるほど小さくなり、高次元データセットでは説明可能性手法のより詳細な評価が求められることを示唆している。
• 特徴量ランク付け手法は、従来の手法に代わる計算的に効率的な特徴量選択ツールとして活用可能である。