[論文レビュー] Neural Additive Models for Location Scale and Shape: A Framework for Interpretable Neural Regression Beyond the Mean

Anton Thielmann, René-Marcel Kruse+2 more|arXiv (Cornell University)|Jan 27, 2023

Aesthetic Perception and AnalysisNeuroscience被引用数 3

ひとこと要約

この論文は、位置、スケール、形状（NAMLSS）のニューラル加法モデルを紹介する。これは、平均以外の応答分布のすべてのパラメータをモデル化しつつ、特徴レベルでの解釈可能性を維持する、解釈可能な深層学習フレームワークの新規な拡張である。NAMLSSはベンチマークデータセットで競争力ある予測性能を達成し、視覚的解釈可能性を備えた完全な分布回帰を可能にし、高リスク分野への応用に適している。

ABSTRACT

Deep neural networks (DNNs) have proven to be highly effective in a variety of tasks, making them the go-to method for problems requiring high-level predictive power. Despite this success, the inner workings of DNNs are often not transparent, making them difficult to interpret or understand. This lack of interpretability has led to increased research on inherently interpretable neural networks in recent years. Models such as Neural Additive Models (NAMs) achieve visual interpretability through the combination of classical statistical methods with DNNs. However, these approaches only concentrate on mean response predictions, leaving out other properties of the response distribution of the underlying data. We propose Neural Additive Models for Location Scale and Shape (NAMLSS), a modelling framework that combines the predictive power of classical deep learning models with the inherent advantages of distributional regression while maintaining the interpretability of additive models. The code is available at the following link: https://github.com/AnFreTh/NAMpy

研究の動機と目的

• 深層ニューラルネットワーク（DNN）における解釈性の欠如、特に医療分野などの高リスク分野での課題に対処する。
• 平均応答しかモデル化しないNAMの解釈性を拡張し、スケールや形状といった完全な分布特性を捉える。
• DNNの予測力は維持しつつ、加法的かつ非パラメトリック関数を用いて、すべての分布パラメータの視覚的解釈可能性を実現するニューラルフレームワークを開発する。
• 位置、スケール、形状パラメータをモデル化することで、平均予測を越えたデータの洞察が得られ、特に非ガウス分布の複雑な分布において有効であることを示す。

提案手法

• NAMLSSは、GAMLSSおよびNAMにインspiredされ、各分布パラメータ（例：平均、分散、歪度）を個々の特徴ごとのニューラルサブネットワークの和として構成される加法的予測子としてモデル化する。
• 各特徴は専用サブネットワークによって処理され、非パラメトリックで解釈可能な関数を学習し、その出力を合算・逆リンク関数を用いて分布パラメータに変換する。
• 柔軟な分布族（例：ガンマ分布、ロジスティック分布）を用い、微分可能な損失関数を用いて最尤推定によりすべてのパラメータを同時に推定する。
• モデルは最大4つの分布パラメータをサポートし、各パラメータが別個の加法的予測子でモデル化されるため、複雑な非線形関係を表現可能である。
• 訓練には標準的な誤差逆伝播法を用い、仮定された条件付き分布の対数尤度に基づく損失関数を採用することで、パラメータ推定の一貫性を確保する。
• 連続変数およびバイナリ応答変数の両方をサポートし、適切な分布仮定（例：正の連続変数にはガンマ分布、バイナリ結果にはロジスティック分布）を適用する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、平均以外の応答分布のすべてのパラメータをモデル化しつつ、解釈性を維持できるか？
• RQ2 NAMLSSの予測性能は、NAM、XGBoost、DNNといった最先端モデルと比較して、完全な分布回帰においてどうなるか？
• RQ3 スケールおよび形状パラメータをモデル化することで、平均のみの予測を越えて、モデルの洞察力やデータ表現がどの程度向上するか？
• RQ4 NAMLSSは、実世界のデータにおける複雑な非線形関係を効果的に捉えつつ、個々の特徴の視覚的解釈可能性を保持できるか？

主な発見

• NAMLSSは競争力ある対数尤度性能を達成し、FICOデータセットでは-1160 ± 48.8を記録。NAM（-1809 ± 7.6）やXGBoost（-1976 ± 13.4）を上回る分布モデリング性能を示した。
• FICOのバイナリ分類ベンチマークでは、NAMLSSは0.72～0.73のAUCを維持し、NAMやXGBoostと同等の性能を示した。この際、完全な分布をモデル化している。
• スケールや形状の分布的特性を効果的に捉え、平均予測を超えたデータ挙動の深い洞察を可能にした。
• NAMLSSは、解釈可能な深層学習が予測精度や解釈性を犠牲にすることなく、完全な分布回帰に拡張可能であることを示した。
• フレームワークはさまざまな分布族（例：ガンマ分布、ロジスティック分布）に対して頑健であり、サブネットワークがすべての分布パラメータにおける特徴効果の視覚的解釈を提供した。