[論文レビュー] Sparse Interaction Additive Networks via Feature Interaction Detection and Sparse Selection

James Enouen, Yan Liu|arXiv (Cornell University)|Sep 19, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

この論文では、相互作用検出とスパarsity制約を用いて、表形式データにおける高次相互作用を効率的に選択する方法であるスパース相互作用加法的ネットワーク（SIAN）を提案する。ヘレディティおよびSHAPベースの相互作用検出を活用することで、解釈可能なディープラーニングモデルを実現し、ブロックスパースアーキテクチャ設計により解釈可能性と学習効率を維持したまま、大規模な表形式データセットで最先端の性能を達成する。

ABSTRACT

There is currently a large gap in performance between the statistically rigorous methods like linear regression or additive splines and the powerful deep methods using neural networks. Previous works attempting to close this gap have failed to fully investigate the exponentially growing number of feature combinations which deep networks consider automatically during training. In this work, we develop a tractable selection algorithm to efficiently identify the necessary feature combinations by leveraging techniques in feature interaction detection. Our proposed Sparse Interaction Additive Networks (SIAN) construct a bridge from these simple and interpretable models to fully connected neural networks. SIAN achieves competitive performance against state-of-the-art methods across multiple large-scale tabular datasets and consistently finds an optimal tradeoff between the modeling capacity of neural networks and the generalizability of simpler methods.

研究の動機と目的

• 複雑な高次特徴相互作用をモデル化する際の、解釈可能な加法モデルと強力なディープニューラルネットワークの間のギャップを埋める。
• 可能な組み合わせの指数的空間から、顕著な高次特徴相互作用を効率的かつ実行可能に特定する選択アルゴリズムを開発する。
• スパースで微分可能なアーキテクチャを通じて、一般化加法モデルの解釈可能性とディープニューラルネットワークの機能的容量を統合する。
• ブロックスパース実装により、ニューラル加法モデルにおける学習効率とメモリ使用量を改善し、中規模データセットにおけるスケーラブルな学習を可能にする。
• ハイパーパramータによるモデル容量の微調整が、単純な加法モデルから完全なニューラルネットワークへの滑らかな補間を可能にし、汎化性と表現力のトレードオフを明らかにする。

提案手法

• この手法は、SHAPベースの相互作用検出を用いて、特徴相互作用の重要性を推定し、特に高次（次数≥3）相互作用に焦点を当てる。
• 非顕著な相互作用を削除するためにヘレディティの原則を適用し、指数的スケールから実行可能なスケールへの探索空間の縮小を実現する。
• 最も影響力のある特徴相互作用項のみを選択するスパース選択アルゴリズムを採用することで、モデルの解釈可能性を保ち、過学習を低減する。
• 形状関数の並列計算を可能にするブロックスパースニューラルネットワークアーキテクチャを採用し、学習速度とメモリ効率を顕著に向上させる。
• 段階的な容量スケーリングが可能で、単変量加法モデルから完全なニューラルネットワークまで、バイアス-バリアンストレードオフの制御された分析を可能にする。
• このアプローチは任意のブラックボックスモデルと互換性があり、本論文ではNODE-GAMへの適用を通じて特徴三重の選択を実証している。

実験結果

リサーチクエスチョン

• RQ1 解釈可能な手法を用いて、表形式データにおける高次特徴相互作用（次数≥3）を効率的かつ正確に検出できるか？
• RQ2 全組み合わせの探索を避けながら、最も情報量の多い特徴相互作用を特定するスパース選択メカニズムをどのように設計できるか？
• RQ3 スパースで解釈可能なモデルは、表形式データにおいて最先端のディープラーニングモデルと同等の性能を達成できるか？
• RQ4 高次相互作用によるモデル容量の増加が、ニューラル加法モデルにおける汎化ギャップにどのように影響するか？
• RQ5 ブロックスパースアーキテクチャ設計は、ニューラル加法モデルにおける学習効率とメモリ使用量を顕著に改善できるか？

主な発見

• SIANは、複数の大規模な表形式データセットで最先端の性能を達成し、従来の加法モデルおよびディープニューラルネットワークの両方を精度と一般化性能において上回る。
• モデルの表現力と一般化性能の最適なトレードオフを一貫して達成しており、高次相互作用を組み込むほど性能が向上する。
• ブロックスパース実装により、標準的なNAMと比較して学習時間とメモリ使用量が削減され、より大きなモデルにおけるスケーラブルな学習が可能になる。
• SHAPベースの相互作用検出の使用により、高次元特徴空間においても意味のある高次相互作用を信頼性高く同定できる。
• ハイパーパramータチューニングによる段階的容量スケーリングが、ディープラーニングモデルにおけるバイアス-バリアンストレードオフの微細な洞察を明らかにする。
• 訓練済みのNODE-GAMモデルに対してArchipelagoを用いたパイプラインを適用することで、カリフォルニア住宅データセットでの性能が向上し、本アプローチの汎用性が検証された。