[論文レビュー] NODE-GAM: Neural Generalized Additive Model for Interpretable Deep Learning

Chun‐Hao Chang, Rich Caruana+1 more|arXiv (Cornell University)|Jun 3, 2021

Explainable Artificial Intelligence (XAI)参考文献 27被引用数 14

ひとこと要約

本稿では、GAMの解釈可能性とディープラーニングのスケーラビリティ・パフォーマンスを統合した微分可能でニューラルな一般化加法モデル、NODE-GAM および NODE-GAM2 を提案する。ノード（NODE）アーキテクチャを新規のゲーティング機構で拡張することで、エンド・ツー・エンド学習、自動特徴選択、自己教師あり事前学習を可能にし、表形式データにおいて最先端の精度を達成しながらも、解釈可能で大規模データセットにもスケーラブルである。

ABSTRACT

Deployment of machine learning models in real high-risk settings (e.g. healthcare) often depends not only on the model's accuracy but also on its fairness, robustness, and interpretability. Generalized Additive Models (GAMs) are a class of interpretable models with a long history of use in these high-risk domains, but they lack desirable features of deep learning such as differentiability and scalability. In this work, we propose a neural GAM (NODE-GAM) and neural GA$^2$M (NODE-GA$^2$M) that scale well and perform better than other GAMs on large datasets, while remaining interpretable compared to other ensemble and deep learning models. We demonstrate that our models find interesting patterns in the data. Lastly, we show that we improve model accuracy via self-supervised pre-training, an improvement that is not possible for non-differentiable GAMs.

研究の動機と目的

• 表形式データの大型データセットにおけるパフォーマンス向上を図りながらも、解釈可能性を維持する微分可能でスケーラブルな一般化加法モデル（GAM）のディープラーニング版を構築すること。
• 非微分可能なGAMの限界（GPU最適化の欠如、自己教師あり事前学習の不能）を解消するため、ディープラーニングフレームワークに統合すること。
• バックプロパゲーションによる勾配ベースの最適化により、従来の手法で用いられる2段階学習やアンサンブル手法を必要としない、主効果および2次相互作用の自動特徴選択を可能にすること。
• 提案手法が意味のあるデータパターンを同定し、特にラベルが少ない状況下でも、既存のGAMおよびディープラーニングモデルを上回る精度を示すことを実証すること。

提案手法

• Popovら（2019）が提唱した微分可能な木構造アーキテクチャ（NODE）を応用し、加法的構造を保ったまま、ニューラルGAM（NODE-GAM）およびニューラルGA2M（NODE-GAM2）を構築する。
• 高次相互作用を段階的に抑制する新規ゲーティング機構を導入し、エンド・ツー・エンド学習中に主効果および2次相互作用の自動選択を実現する。
• ラベル付きデータへのファインチューニングの前段階として、マスキングされた特徴の予測タスクで自己教師あり事前学習を実施し、ラベルが少ない状況でのパフォーマンス向上を図る。
• NIT や NAM といった従来手法が要請する反復的学習やモデルアンサンブルを回避するため、統合された埋め込み層と最終段の線形ヘッドを用いた単一段階の学習プロセスを採用する。
• GPU上でミニバッチ学習を実行する勾配ベース最適化を用いることで、非微分可能なGAMに比べて大規模データセットへのスケーラビリティと収束速度の向上を実現する。
• 事前学習段階でアテンションベースのマスキングと再構成目的関数を適用し、下流タスクへのファインチューニングの前に堅牢な表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 大規模な表形式データセットにおいて、GAMの解釈可能性を維持しつつ、最先端のパフォーマンスを達成できる微分可能なディープラーニングアーキテクチャを設計可能か？
• RQ2 ラベル付きデータが限られる状況下で、自己教師あり事前学習が解釈可能なモデルの性能向上に寄与するか、また、微分可能なGAMフレームワーク内でこれを実現可能か？
• RQ3 提案手法がバックプロパゲーションにより、主効果および2次相互作用の関連特徴を自動的に選択可能か？ これにより、外部の選択アルゴリズムやアンサンブル手法の必要性が排除されるか？
• RQ4 特に医療分野のような高リスク分野において、NODE-GAMおよびNODE-GAM2の形状関数は、従来のGAMと比較して意味のあるデータパターンをどのように明らかにするか？

主な発見

• 自己教師あり事前学習を施したNODE-GAMは、7つのデータセットのうち6つで非事前学習バージョンを上回り、MIMIC2では相対的に6%の向上、Churnでは最大10%の向上を達成した。
• 自己教師ありNODE-GAMは、Churn、MIMIC2、Creditの3つのデータセットでEBMを上回る性能を示し、特にラベルが少ない状況下での事前学習の有効性を裏付けた。
• NODE-GAMおよびNODE-GAM2は、より大きなデータセットにおいて他のGAMを上回り、スプラインベースおよび木構造ベースのGAMと比較して、スケーラビリティと精度の両面で優れた性能を示した。
• 形状関数を通じて解釈可能で意味のあるデータパターンを同定でき、先行研究における臨床的・分野特化的分析で妥当性が検証された。
• 勾配ベースのプルーニングにより、木構造GAMで一般的に用いられる事後選択アルゴリズムを不要にする、自動特徴選択が可能である。
• 深層ニューラルネットワークと同等のパフォーマンスを達成しながらも、加法的および加法的相互作用構造により完全な解釈可能性を維持している。