[論文レビュー] Neural Additive Models: Interpretable Machine Learning with Neural Nets

Rishabh Agarwal, Melnick, Levi+5 more|arXiv (Cornell University)|Apr 29, 2020

Explainable Artificial Intelligence (XAI)参考文献 37被引用数 121

ひとこと要約

NAMsは加法モデル解釈性とニューラルネットを組み合わせ、GAMと同等の精度を発揮し、解釈可能なベースラインと比較して高い性能を示しつつ、マルチタスクと微分可能でモジュール式の解釈を可能にする。

ABSTRACT

Deep neural networks (DNNs) are powerful black-box predictors that have achieved impressive performance on a wide variety of tasks. However, their accuracy comes at the cost of intelligibility: it is usually unclear how they make their decisions. This hinders their applicability to high stakes decision-making domains such as healthcare. We propose Neural Additive Models (NAMs) which combine some of the expressivity of DNNs with the inherent intelligibility of generalized additive models. NAMs learn a linear combination of neural networks that each attend to a single input feature. These networks are trained jointly and can learn arbitrarily complex relationships between their input feature and the output. Our experiments on regression and classification datasets show that NAMs are more accurate than widely used intelligible models such as logistic regression and shallow decision trees. They perform similarly to existing state-of-the-art generalized additive models in accuracy, but are more flexible because they are based on neural nets instead of boosted trees. To demonstrate this, we show how NAMs can be used for multitask learning on synthetic data and on the COMPAS recidivism data due to their composability, and demonstrate that the differentiability of NAMs allows them to train more complex interpretable models for COVID-19.

研究の動機と目的

• interpretable高性能モデルの必要性を、医療、金融、司法といった高リスク領域で動機づける。
• NAMsを提案し、 feature-specific neural networksの線形結合を学習してGeneralized Additive Model (GAM)を形成する。
• NAMsが最先端GAMsや一般的な解釈可能なベースラインに対して tabularデータセットで同等の精度を達成することを示す。
• COVID-19治療モデル化のような応用において、NAMsをマルチタスク学習と微分可能で解釈可能なモデルコンポーネントへ拡張可能であることを示す。

提案手法

• NAMsはニューラルネットワークの線形結合を学習し、各々が単一の入力特徴に着目して g(E[y]) = β + Σ_i f_i(x_i) を形成し、f_iはニューラルネットでモデル化される。
• 各f_iはバックプロパゲーションによって共同に訓練され、任意の複雑な形状をモデル化できる。
• ExU hidden unitsは、h(x) = f(e^w * (x - b))を計算することで、ギザギザした1次元関数を学習するよう導入される。
• ReLU-_n活性化と正則化（Dropout、ウェイト減衰など）を用いて過学習を抑制し、現実的な形状関数を促進する。
• NAMsは微分可能でモジュール式であり、マルチタスクの拡張とタスク間の構成可能性を可能にする。
• 方法は、f_i(x_i)の形状関数を予測の正確な記述として可視化可能にすることを強調する。

実験結果

リサーチクエスチョン

• RQ1 NAMsは表形式データに対して解釈性を保ちつつ競争力のある予測精度を達成できるか。
• RQ2 NAMsは標準データセットでロジスティック/線形モデル、決定木、EBMs、XGBoost、DNNとどう比較されるか。
• RQ3 NAMsを解釈性を維持したままマルチタスク学習へ拡張できるか。
• RQ4 実世界の形状関数をモデリングするExUユニットの役割は何か、どのように正則化すべきか。

主な発見

Model	MIMIC-II (AUC)	Credit (AUC)	CA Housing (RMSE)	FICO (RMSE)
Log./Linear Reg.	0.791 ± 0.007	0.975 ± 0.010	0.728 ± 0.015	4.344 ± 0.056
CART	0.768 ± 0.008	0.956 ± 0.004	0.720 ± 0.006	4.900 ± 0.113
NAMs	0.830 ± 0.008	0.980 ± 0.002	0.562 ± 0.007	3.490 ± 0.081
EBMs	0.835 ± 0.007	0.976 ± 0.009	0.557 ± 0.009	3.512 ± 0.095
XGBoost	0.844 ± 0.006	0.981 ± 0.008	0.532 ± 0.014	3.345 ± 0.071
DNNs	0.832 ± 0.009	0.978 ± 0.003	0.492 ± 0.009	3.324 ± 0.092

• NAMsは競争力のある精度を達成し、しばしばロジスティック/線形回帰およびCARTを上回り、ベンチマークデータセットで最先端のGAMsやEBMsに近づく。
• NAMsは予測がどのように計算されるかを正確に記述する解釈可能な特徴ごとの形状プロットを提供し、バイアス検出とデバイアス対応を容易にする（例：COMPASにおける人種）。
• ExUユニットは標準ユニットよりもギザギザした関数をより効果的にモデル化できるようにし、適切な初期化とReLU-n活性化が急激な変化を捉えるのに役立つ。
• マルチタスクNAMsは予測性能を向上させ、タスク特有の形状関数を可能にし、サブネットの共有と解釈性の維持の両立を実現する。
• COMPASにおいて、マルチタスクNAMsは性別特有の関係を露呈し、特徴寄与を検査・調整することで全体の精度を維持しつつデバリアライズの道を提供する。
• NAMsは微分可能であり、個別化治療方針（例：COVID-19）などのパラメータ生成器としての利用や微分可能パイプラインへの組み込みを可能にする。