[論文レビュー] GANDALF: Gated Adaptive Network for Deep Automated Learning of Features

Manu Joseph, Harsh Raj|arXiv (Cornell University)|Jul 18, 2022

Advanced Neural Network Applications被引用数 12

ひとこと要約

GANDALFは、Gated Feature Learning Unit (GFLU) を備えた新しい深層学習アーキテクチャを提案し、特徴選択機能と解釈可能性を内蔵した、非時系列データに適応したGRUから着想を得た新しいゲーティング機構を採用している。複数のベンチマークで最先端または競争力ある性能を達成しており、パラメータ数および計算コストが少なく、ハイパーパrameterチューニングの必要が最小限である。

ABSTRACT

We propose a novel high-performance, interpretable, and parameter \& computationally efficient deep learning architecture for tabular data, Gated Adaptive Network for Deep Automated Learning of Features (GANDALF). GANDALF relies on a new tabular processing unit with a gating mechanism and in-built feature selection called Gated Feature Learning Unit (GFLU) as a feature representation learning unit. We demonstrate that GANDALF outperforms or stays at-par with SOTA approaches like XGBoost, SAINT, FT-Transformers, etc. by experiments on multiple established public benchmarks. We have made available the code at github.com/manujosephv/pytorch_tabular under MIT License.

研究の動機と目的

• 深層学習と勾配ブースティング決定木（GBDTs）の間のパフォーマンスギャップを、表形式データ解析において埋める。
• 高い精度を維持しながら、パラメータ数および計算コストが少なく、効率的な深層学習アーキテクチャを構築する。
• 内蔵された特徴選択およびスパarsity制御機能を持つ、新しい表形式データ処理ユニットを導入する。
• 一般化性を保証するため、洗練されたデータセットではなく、多様な公開ベンチマークでモデルを評価する。
• 既存の表形式データ向け深層学習モデルと比較して、チューニングに必要なハイパーパrameter数を削減する。

提案手法

• 表形式データの深層ネットワークにおいて、標準的なMLPの代わりに学習可能でスパースかつ解釈可能な処理ユニットであるGated Feature Learning Unit (GFLU) を提案する。
• 非時系列の表形式データに適応した、Gated Recurrent Units (GRUs) から着想を得た新しいゲーティング機構を導入し、動的特徴表現学習を可能にする。
• 特徴の流れを制御するゲーティング機構により、学習可能なスパarsityを実現し、ノイズを低減してモデル効率を向上させる。
• バッチ正規化を必要としない微分可能な特徴マスキングを実現するため、α-entmax関数を採用する。
• 各GFLU段階が特徴を段階的に精錬し、スパarsityを制御するマルチステージアーキテクチャを採用する。
• 複数の公開ベンチマークで、GFLU段階数、初期スパarsity、ドロップアウト、重み減衰などのハイパーパrameterをチューニングする。

実験結果

リサーチクエスチョン

• RQ1 内蔵された特徴選択機能と解釈可能性を持つ深層学習アーキテクチャが、公開の表形式ベンチマークでSOTAのGBDTモデルを上回るか、同等の性能を発揮できるか？
• RQ2 GRUから着想を得た新しいゲーティング機構が、非時系列の表形式データにおける表現学習を改善するか？
• RQ3 XGBoost、SAINT、FT-Transformersなどのモデルと比較して、GANDALFの精度、パラメータ効率、推論速度はどの程度か？
• RQ4 複雑さや特徴タイプが異なる多様な表形式データセットにおいて、モデルの性能がどの程度頑健に保たれるか？
• RQ5 他の表形式データ向け深層学習モデルと比較して、チューニングに必要なハイパーパrameter数はどの程度か？

主な発見

• GANDALFは18の公開ベンチマークで最先端または競争力あるパフォーマンスを達成し、5回のランダムハイパーパrameter試行の後、18のデータセットのうち13で最高スコアを記録した。
• TabSurveyベンチマークでは、カリフォルニア・ホームズのテストMSEが0.160±0.006にまで低下し、XGBoost（0.206±0.005）とSAINT（0.226±0.004）を上回った。
• デフォルト・クレジット・カードデータセットでは、テスト誤差が5.01×10⁻³にまで低下し、XGBoost（6.30×10⁻³）とFT-Transformer（3.98×10⁻³）を上回った。
• 特徴のアブレーションスタディでは、最も関連性の高い特徴を削除すると性能が著しく低下し、XGBoostの特徴重要度と同等の傾向を示した。これにより、GANDALFの解釈可能性と特徴選択能力が裏付けられた。
• yprop_4_1 やメルセデスなど、難易度の高いデータセットを含む多様なデータセットにおいても、GANDALFは最小限のチューニングでSOTAモデルと同等またはそれを上回る性能を示した。
• 多くのSOTAモデルと比較して、GANDALFはチューニングに必要なハイパーパrameter数を少なく抑え、5つの主要なハイパーパrameter（GFLU段階数、初期スパarsity、GFLUドロップアウト、学習率、重み減衰）で十分である。