[論文レビュー] GAM(e) changer or not? An evaluation of interpretable machine learning models based on additive model constraints

Patrick Zschech, Sven Weinzierl+3 more|arXiv (Cornell University)|Apr 19, 2022

Explainable Artificial Intelligence (XAI)被引用数 8

ひとこと要約

本稿は、一般化線形加法モデル（GAMs）に基づく5つの内在的解釈可能な機械学習モデルを評価し、12のデータセットにおいて6つの従来のMLモデルと比較している。GAMベースのモデルは、形状関数を通じて優れた解釈性を提供する一方で、予測性能は競争的であるが、計算コストが高く、相関に基づく学習による因果的解釈の限界が残る。

ABSTRACT

The number of information systems (IS) studies dealing with explainable artificial intelligence (XAI) is currently exploding as the field demands more transparency about the internal decision logic of machine learning (ML) models. However, most techniques subsumed under XAI provide post-hoc-analytical explanations, which have to be considered with caution as they only use approximations of the underlying ML model. Therefore, our paper investigates a series of intrinsically interpretable ML models and discusses their suitability for the IS community. More specifically, our focus is on advanced extensions of generalized additive models (GAM) in which predictors are modeled independently in a non-linear way to generate shape functions that can capture arbitrary patterns but remain fully interpretable. In our study, we evaluate the prediction qualities of five GAMs as compared to six traditional ML models and assess their visual outputs for model interpretability. On this basis, we investigate their merits and limitations and derive design implications for further improvements.

研究の動機と目的

• 加法的制約に基づく内在的解釈可能なモデルが、従来のホワイトボックスおよびブラックボックスMLモデルと比較して、競争可能な予測性能を達成できるかどうかを評価すること。
• 異なるGAMベースのモデルの視覚的および構造的出力の違いを、解釈性およびモデル行動の観点から客観的に比較すること。
• 実証的評価および観察された限界に基づき、将来の解釈可能なMLモデルの開発を導く設計原則を導出すること。
• 情報システム研究の文脈において、高度なGAM拡張モデル間の中立的かつ包括的なクロスモデル比較の不足を解消すること。
• 精度と解釈性の両方が重要な実世界のIS応用におけるモデル選定の実用的指針を提供すること。

提案手法

• 本研究では、スプライン（pyGAM）、解釈可能なブースティングマシン（EBM）、ニューラル加法モデル（NAM）、GAMI-Net、ExNNの5つのGAM/GAIMベースのモデルを評価し、すべてのハイパーパrameterをデフォルト設定で使用した。
• 比較のための6つの従来のMLモデルも含めた：ロジスティック回帰、決定木、ランダムフォレスト、勾配ブースティングマシン（GBM）、XGBoost、マルチレイヤーパーセプトロン（MLP）、すべてがデフォルトまたは標準設定で構成された。
• 評価は12の表形式データセットを対象とし、AUC、正解率、平均二乗誤差などの標準指標を用いて予測性能を測定した。
• モデルの解釈性は、入力特徴量と予測値の間の非線形単変量写像（形状関数）を分析することで定性的に評価した。滑らかさ、柔軟性、安定性の違いが強調された。
• 計算効率はトレーニング時間で測定され、モデルの頑健性はハイパーパrameter設定およびデータサイズへの感受性を通じて評価された。
• 本研究は、ハイパーパrameterの詳細なチューニングを避けることで、モデルタイプ間の比較可能性を確保する、体系的かつ公平な比較フレームワークを採用した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 加法的モデル制約に基づく解釈可能なモデルは、従来のホワイトボックスおよびブラックボックスMLモデルと比較して、競争的な予測結果を提供できるか？
• RQ2 RQ2: 加法的モデル制約に基づく解釈可能なMLモデルの出力は、形状関数の挙動および解釈性の観点から、どのように互いに客観的に異なるか？
• RQ3 RQ3: 予測精度、計算コスト、解釈性の観点から、異なるGAMベースのモデルの主な利点と限界は何か？
• RQ4 RQ4: 今後のIS応用を想定した内在的解釈可能なMLモデルの開発を導く設計原則は何か？

主な発見

• GAMベースのモデル、特にEBMとNAMは、XGBoost や GBM などの従来モデルと同等またはそれ以上の予測性能を示し、特にAUCと正解率の観点で優れた結果を達成した。
• EBMとNAMの形状関数は高い柔軟性と滑らかさを示し、非線形特徴量効果の明確な可視化が可能である一方、スプラインは小さなデータセットではノイズや過学習に対して感受性が高かった。
• GAMI-NetとExNNは複雑な非線形パターンの捉え込みに優れていたが、トレーニング時間が著しく長く、大規模データセットではスケーラビリティに劣った。
• 強力な予測性能にもかかわらず、すべてのGAMベースのモデルは相関に基づく学習に制限されており、形状関数が意味的であるように見えても因果関係を確立できない。
• GAMベースのモデル、特にGAMI-NetとExNNは計算コストが著しく高く、最適化なしではリアルタイムまたは大規模応用には不適切である。
• 本研究は、将来の解釈可能なモデル開発のための4つの設計原則を同定した：(1) モデルの柔軟性と計算効率のバランス、(2) 安定的かつ滑らかな形状関数の確保、(3) 精度を損なわずに特徴量ごとの解釈性をサポート、(4) 実際の意思決定文脈におけるユーザー中心の評価を可能にする。