[論文レビュー] Structural Neural Additive Models: Enhanced Interpretable Machine Learning

Mattias Luber, Anton Thielmann+1 more|arXiv (Cornell University)|Feb 18, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本稿では、スプラインに基づく活性化層を用いることで、深層ニューラルネットワークの予測性能と一般化加法モデルの解釈可能性を組み合わせた、新規の解釈可能なディープラーニングフレームワーク、構造的ニューラル加法モデル（SNAMs）を提案する。SNAMsは、スパースでスプラインに基づく活性化層を用いることで、完全結合DNNと同等の最先端の性能を達成するとともに、モデルパラメータの直接解釈、ベイズ信頼区間による不確実性の定量化、学習可能なノットを備えたシルバーマンカーネルベースのニューラルスプラインによる計算の高速化を可能にする。

ABSTRACT

Deep neural networks (DNNs) have shown exceptional performances in a wide range of tasks and have become the go-to method for problems requiring high-level predictive power. There has been extensive research on how DNNs arrive at their decisions, however, the inherently uninterpretable networks remain up to this day mostly unobservable "black boxes". In recent years, the field has seen a push towards interpretable neural networks, such as the visually interpretable Neural Additive Models (NAMs). We propose a further step into the direction of intelligibility beyond the mere visualization of feature effects and propose Structural Neural Additive Models (SNAMs). A modeling framework that combines classical and clearly interpretable statistical methods with the predictive power of neural applications. Our experiments validate the predictive performances of SNAMs. The proposed framework performs comparable to state-of-the-art fully connected DNNs and we show that SNAMs can even outperform NAMs while remaining inherently more interpretable.

研究の動機と目的

• 医療や金融などハイリスク分野における深層ニューラルネットワーク（DNNs）の解釈可能性の限界を解消すること。
• ニューラル加法モデル（NAMs）のような既存の解釈可能なモデルにおけるパラメータ非効率性と不確実性の定量化の欠如を克服すること。
• 特徴量の効果の可視化に加え、モデルパラメータの直接解釈と信頼区間の構築を可能にするフレームワークの開発。
• スプラインに基づく活性化層と学習可能なノットを用いることで、極めてスパースなパラメータ数で高い予測性能を達成すること。
• 2次元スプラインに基づく層への一般化により、空間的・構造的データのネイティブな処理を可能とすること。

提案手法

• 特徴量の非線形効果を柔軟かつ低パラメータでモデル化できるように、ノットを用いた基底展開を用いて立方回帰スプラインをニューラルネットワークの活性化層として統合する。
• 計算コストを低減しつつ精度を保持するため、スプラインの計算効率化のためのシルバーマンカーネル近似を提案する。
• パラメータ数を増加させずに、複雑な非線形関係を適応的に捉えるために、スプライン層に学習可能なノットを導入する。
• ベイズ推論を用いてモデルパラメータを推定し、信頼区間を計算することで、可視化を超えた不確実性の定量化と解釈可能性の向上を実現する。
• 各入力特徴量が共有されたスプラインベースの活性化関数を持つスパースなサブネットワークで処理される、ニューラルネットワークアーキテクチャを構築する。
• スプライン層を2次元に一般化することで、空間的入力（例：カリフォルニア住宅データセット）への対応を可能とし、高次元入力への拡張を実現する。

Figure 1: Visualization of the cubic regression splines. The left hand side displays the basis functions and the right hand side shows how the function approximation is done by scaling the bases appropriately

実験結果

リサーチクエスチョン

• RQ1 高予測性能を維持しつつ、個々のモデルパラメータの直接解釈と不確実性推定の両方を可能にするニューラルネットワークアーキテクチャを設計できるか？
• RQ2 スプラインに基づく活性化層を、モデルの柔軟性を損なわず、ディープラーニングに計算的に効率的かつスケーラブルに適用できるか？
• RQ3 ニューラルスプラインにおける学習可能なノットが、パラメータのスパarsityと解釈可能性を保ちながら、どの程度モデルの表現力向上に寄与するか？
• RQ4 提案フレームワークは、NAMsのような既存の解釈可能なモデルに比べ、予測精度と解釈可能性の両面で優れているか？
• RQ5 本モデルは、住宅価格予測における地理座標のような構造的・空間的データに対し、どの程度一般化性能を発揮するか？

主な発見

• SNAMsは、カリフォルニア住宅、FICO、保険など複数のベンチマークデータセットにおいて、完全結合DNNと同等の予測性能を達成する。
• SNAMsは、顕著に少ないパラメータ数でNAMsを上回る予測性能を示し、効率性と一般化性能の向上を実証する。
• 可視化を超えた完全な解釈可能性を実現し、学習済みパラメータの直接解釈と不確実性定量化のためのベイズ信頼帯の構築が可能となる。
• シルバーマンカーネルベースのニューラルスプラインの導入により、計算コストが低減されつつも高い精度を維持し、高速な学習と推論が可能になる。
• カリフォルニア住宅データセットでは、空間座標を構造的効果として同時にモデル化できる能力のおかげで、顕著な性能向上が見られた。
• スプライン層の2次元一般化により、空間データのネイティブな処理が可能となり、住宅価格に正または負の効果を及ぼす地域を示す解釈可能な地理的ヒートマップが得られた。

Figure 2: The figure sketches how the different types of approximations could be implemented as neural networks.