[論文レビュー] DANets: Deep Abstract Networks for Tabular Data Classification and Regression

Jintai Chen, Kuanlun Liao+3 more|arXiv (Cornell University)|Dec 6, 2021

Machine Learning and Data Classification被引用数 5

ひとこと要約

本稿では、相関する特徴量をグループ化し、高レベルの意味的特徴を抽象化する学習可能な抽象層（AbstLay）を核とする、表形式データ分類および回帰のための新しいニューラルアーキテクチャであるDeep Abstract Networks（DANets）を提案する。特徴量のグループ化に学習可能なスパースマスクを採用し、推論の計算複雑度を低減する構造的再パラメータライゼーション技術を用いることで、TabNet や NODE や Net-DNF といった競合モデルと比較して14.8–23.0%低いFLOPSで最先端の性能を達成する。

ABSTRACT

Tabular data are ubiquitous in real world applications. Although many commonly-used neural components (e.g., convolution) and extensible neural networks (e.g., ResNet) have been developed by the machine learning community, few of them were effective for tabular data and few designs were adequately tailored for tabular data structures. In this paper, we propose a novel and flexible neural component for tabular data, called Abstract Layer (AbstLay), which learns to explicitly group correlative input features and generate higher-level features for semantics abstraction. Also, we design a structure re-parameterization method to compress the learned AbstLay, thus reducing the computational complexity by a clear margin in the reference phase. A special basic block is built using AbstLays, and we construct a family of Deep Abstract Networks (DANets) for tabular data classification and regression by stacking such blocks. In DANets, a special shortcut path is introduced to fetch information from raw tabular features, assisting feature interactions across different levels. Comprehensive experiments on seven real-world tabular datasets show that our AbstLay and DANets are effective for tabular data classification and regression, and the computational complexity is superior to competitive methods. Besides, we evaluate the performance gains of DANet as it goes deep, verifying the extendibility of our method. Our code is available at https://github.com/WhatAShot/DANet.

研究の動機と目的

• 表形式データに特化した有効で構造的なニューラルコンponentが不足している問題に対処すること。これは、しばしばディープラーニングの潜在能力を十分に活用できない原因となっている。
• 明示的な特徴量のグループ化や抽象化メカニズムを持たない、一般的なコンponents（例：全結合層）に依存する既存のモデルの制限を克服すること。
• データ駆動による特徴量の階層的抽象化を可能にする、柔軟で拡張可能なニューラルアーキテクチャを設計すること。
• 構造的再パラメータライゼーションを用いて推論の計算複雑度を低減しつつ、モデル性能を維持すること。
• 分類および回帰タスクにおいて、多様な表形式データセット上で提案アーキテクチャの有効性とスケーラビリティを実証すること。

提案手法

• 相関する入力特徴量をグループ化するための学習可能なスパースマスクを用いるが、明示的な距離尺度に依存しない学習可能なニューラルコンponent、すなわち抽象層（AbstLay）を導入する。
• AbstLay内に特徴量学習器を適用し、グループ化された特徴量サブセットから高レベルの表現を抽象化することで、複数段階にわたる意味的抽象化を可能にする。
• 特徴量選択と抽象化の演算を1回の順伝播に統合する構造的再パラメータライゼーション手法を実装し、1つのAbstLay層でFLOPSを49.02%削減する。
• 原始的な表形式特徴量を保持する特別な残差ショートカットパスを備えた基本ブロックを構築し、層間での特徴量相互作用を強化する。
• 複数の基本ブロックをスタックして、表形式データの意味的特徴を階層的に抽象化可能なDeep Abstract Networks（DANets）を構築する。
• 微分可能損失関数を用いてエンドツーエンドでモデルを学習させ、マスクがターゲット関連特徴量および相関する特徴量を適応的に同定できるようにする。

実験結果

リサーチクエスチョン

• RQ1 AbstLayにおける学習可能なマスクは、データ駆動的にターゲット関連特徴量と無関係な特徴量を効果的に区別できるか？
• RQ2 明示的な距離尺度や固定されたインダクティブバイアスが存在しない状況下でも、AbstLayコンponentは相関する特徴量を同定しグループ化できるか？
• RQ3 構造的再パラメータライゼーション技術は、モデル性能を損なうことなく計算複雑度を顕著に低減できるか？
• RQ4 モデルの深さと幅が表形式データにおけるDANetsの性能に与える影響は何か？また、スケーラビリティの限界は何か？
• RQ5 DANetsは、実世界の表形式データセットにおいて、TabNet や NODE や Net-DNF といった競合モデルと比較して、精度および推論効率の両面で優れているか？

主な発見

• AbstLayにおける学習可能なマスクは、ターゲット関連特徴量を的確に同定する。具体的には、関連する特徴量（例：$v_2, v_3, v_4, v_5$）では高い活性化値を示し、無関係な特徴量（例：$v_{10}$）ではほぼゼロの応答を示す。
• マスクは相関する特徴量をグループ化する能力を示しており、類似したマスク値が $(v_0, v_2)$、$(v_5, v_6)$、$(v_6, v_7)$ のような特徴量のグループを示しており、特徴量間の関係を捉える能力を確認できる。
• DANetsは7つの実世界の表形式データセットで最先端の性能を達成し、精度およびF1スコアにおいて、TabNet や NODE や Net-DNF といった競合モデルを一貫して上回る。
• DANetsの計算複雑度はアンサンブルベースのモデルと比較して顕著に低い。構造的再パラメータライゼーションによりFLOPSが14.8–23.0%削減され、1つのAbstLay層では49.02%の削減が達成された。
• モデルの深さと幅の向上は性能を向上させるが、極端な深さと幅は効果の逓減を示し、モデルスケーリングにおける実用的なトレードオフが存在することが示された。
• 基本ブロック内の特別なショートカットパスは特徴量の多様性を高め、特に深いアーキテクチャにおいて性能向上に寄与している。