[論文レビュー] DNF-Net: A Neural Architecture for Tabular Data

Ami Abutbul, Gal Elidan+2 more|arXiv (Cornell University)|Jun 11, 2020

Adversarial Robustness in Machine Learning参考文献 2被引用数 15

ひとこと要約

DNF-Netは、アフィンのソフトスイッチド特徴量に基づく論理的結合形（DNF）として意思決定をモデル化する、表形式データ向けの新しいニューラルアーキテクチャである。特徴選択と局所的空間的局在化のインダクティブバイアスを組み込み、確実に全結合ネットワーク（FCN）を上回り、しばしばXGBoostと同等またはそれを上回る性能を示す。SGDを用いたエンドツーエンド学習が可能である。

ABSTRACT

A challenging open question in deep learning is how to handle tabular data. Unlike domains such as image and natural language processing, where deep architectures prevail, there is still no widely accepted neural architecture that dominates tabular data. As a step toward bridging this gap, we present DNF-Net a novel generic architecture whose inductive bias elicits models whose structure corresponds to logical Boolean formulas in disjunctive normal form (DNF) over affine soft-threshold decision terms. In addition, DNF-Net promotes localized decisions that are taken over small subsets of the features. We present an extensive empirical study showing that DNF-Nets significantly and consistently outperform FCNs over tabular data. With relatively few hyperparameters, DNF-Nets open the door to practical end-to-end handling of tabular data using neural networks. We present ablation studies, which justify the design choices of DNF-Net including the three inductive bias elements, namely, Boolean formulation, locality, and feature selection.

研究の動機と目的

• 表形式データ向けに広く受け入れられているニューラルアーキテクチャが不足しているという問題に取り組むこと。現在、表形式データは勾配ブースティング決定木（GBDT）に支配されている。
• 意思決定森の主要な特性を模倣するインダクティブバイアスを備えたニューラルネットワークを設計すること：論理的構造（DNF）、特徴選択、局所的意思決定。
• 標準的なSGDを用いたエンドツーエンド学習を可能にし、GBDTのスケーラビリティとマルチモーダル統合の制限を克服すること。
• 標準的な全結合ネットワークよりも性能が向上することを実証的に検証すること。

提案手法

• コアとなる構成要素はDNNFブロックである。これは2層の隠れ層を持つ順方向ネットワークであり、アフィンのソフトスイッチドリテラルを学習し、論理的結合形（DNF）に類似した論理式を論理和（OR）構造で結合する。
• 特徴選択は、入力特徴量に適用される学習可能なソフトマスクによって実装され、各意思決定項ごとに関連する特徴量を動的に微分可能に選択可能にする。
• 局所的局在化は、空間的に制限されたアテンションまたはルーティング機構によって達成され、各意思決定項が小さな局所的特徴量サブセットにのみ作用するように制限される。
• シグモイド活性化関数を用いてソフトスイッチをモデル化し、すべてのコンponentsの共同最適化を可能にするエンドツーエンドのバックプロパゲーションを実現する。
• 標準的な確率的勾配降下法（SGD）を用いて学習され、全微分性と大規模データセットへのスケーラビリティを実現する。
• 各インダクティブバイアス（DNF構造、特徴選択、局所的局在化）の寄与を分離するためにアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 DNF構造へのインダクティブバイアスを有するニューラルネットワークアーキテクチャが、表形式データにおいて全結合ネットワークを上回ることができるか？
• RQ2 学習可能な特徴選択と局所的意思決定の統合が、表形式予測タスクの性能向上に寄与するか？
• RQ3 DNF-Netは、XGBoostのような勾配ブースティング決定木（GBDT）と同等またはそれを上回る性能を、標準的な表形式ベンチマークで達成できるか？
• RQ4 DNF構造、特徴選択、局所的局在化という各コンponentが、モデル性能に独立してどのように寄与しているか？
• RQ5 DNF-Netは、高次元および合成データを含む多様な表形式データセットに一般化可能か？

主な発見

• DNF-Netは、多数の実世界の表形式データセットにおいて、全結合ネットワーク（FCN）を一貫して上回り、そのインダクティブバイアスの有効性を示している。
• アブレーションスタディにより、DNF構造、特徴選択、局所的局在化という3つのインダクティブバイアスがすべて不可欠であり、それぞれが性能向上に顕著に寄与することが確認された。
• 合成データセットでは、入力次元が変化しても高い精度を維持し、データの複雑さに対して頑健であることが示された。
• 2つの過去のKaggleコンペティションにおいて、DNF-NetはXGBoostと同等の性能を達成し、一部のデータセットではわずかに劣る結果となった。
• 特徴選択機構は、制御された合成実験を通じて、モデル性能と一般化性能の向上に独立して寄与することが実証された。
• DNF-NetはSGDを用いたエンドツーエンド学習を可能にし、GBDTが大規模ニューラルパイプラインに容易に統合できないという制限を克服するスケーラブルな代替手段を提供する。