[論文レビュー] T2G-Former: Organizing Tabular Features into Relation Graphs Promotes Heterogeneous Feature Interaction

Jiahuan Yan, Jintai Chen+3 more|arXiv (Cornell University)|Nov 30, 2022

Advanced Graph Neural Networks被引用数 5

ひとこと要約

T2G-Former は、トランザフォーマーに基づくアーキテクチャで構造的・多様な特徴量相互作用を可能にする、新しいグラフ推定器を提案する。特徴量を知識に基づくグラフに統合することで、モデルの表現力が向上し、表形式データにおけるディープニューラルネットワークの最先端性能を達成し、従来手法を上回り、XGBoost と同等の予測精度を達成する。

ABSTRACT

Recent development of deep neural networks (DNNs) for tabular learning has largely benefited from the capability of DNNs for automatic feature interaction. However, the heterogeneity nature of tabular features makes such features relatively independent, and developing effective methods to promote tabular feature interaction still remains an open problem. In this paper, we propose a novel Graph Estimator, which automatically estimates the relations among tabular features and builds graphs by assigning edges between related features. Such relation graphs organize independent tabular features into a kind of graph data such that interaction of nodes (tabular features) can be conducted in an orderly fashion. Based on our proposed Graph Estimator, we present a bespoke Transformer network tailored for tabular learning, called T2G-Former, which processes tabular data by performing tabular feature interaction guided by the relation graphs. A specific Cross-level Readout collects salient features predicted by the layers in T2G-Former across different levels, and attains global semantics for final prediction. Comprehensive experiments show that our T2G-Former achieves superior performance among DNNs and is competitive with non-deep Gradient Boosted Decision Tree models.

研究の動機と目的

• 特徴量が多様で非一様な空間に存在し、しばしば独立しているという、表形式データにおける多様な特徴量相互作用の課題に対処する。
• 完全結合型またはグループベースの特徴量相互作用メカニズムの限界を克服し、ノイズを導入するか、グループ内関係を正しくモデル化できない問題を解決する。
• 意味のある特徴量依存関係を捉えながら、不要またはノイズの多い相互作用をフィルタリングする、学習可能で知識に基づく関係グラフ構造を開発する。
• 関係グラフを自己注意メカニズムに統合した特化されたトランザフォーマー・アーキテクチャ（T2G-Former）を設計し、構造的な特徴量相互作用を実現する。
• 勾配ブースティングツリー（例：XGBoost）と同等の性能を達成しながら、ディープラーニングモデルの微分可能でスケーラブルな特性を維持する。

提案手法

• 特徴量間のペアワイズ関係を微分可能で適応的なエッジ重みメカニズムでモデル化することで、知識に基づいた静的関係グラフ（FR-Graph）を学習するグラフ推定器（GE）を提案する。
• ドメイン知識から導かれる事前定義されたトポロジーを用いて関係グラフを構築し、特徴量相関の強さを反映するエッジ重みを微分可能で類似したアテンションメカニズムにより学習する。
• トランザフォーマーのエンコーダーの自己注意メカニズムに FR-Graph を統合し、関連する特徴量間で構造的でグラフに配慮したメッセージパッシングを可能にする。
• 複数のトランザフォーマー層にわたる顕著な特徴量を集約して階層的表現を捉え、最終予測を生成するクロスレベルリードアウトモジュールを設計する。
• グラフベースの相互作用の前に、特徴量トークナイザーを用いて元の表形式特徴量を共有の潜在空間に埋め込むことで、トランザフォーマー・フレームワークとの互換性を確保する。
• FR-Graph のトポロジーを学習中に固定することで、解釈可能性と安定性を確保しつつ、標準的な分類または回帰損失を用いてエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 学習可能で知識に基づく関係グラフは、完全結合型やグループベースの手法と比較して、表形式データにおける特徴量相互作用を改善できるか？
• RQ2 特徴量相互作用をグラフトポロジーで構造化することで、表形式ベンチマークにおけるモデル性能と一般化性能が向上するか？
• RQ3 トポロジーの選択（静的、適応的、自由）がモデル性能と計算複雑性に与える影響は何か？
• RQ4 関係グラフとリードアウト機構は、どの特徴量と関係が最も予測に寄与しているかを解釈可能なインサイトを提供できるか？
• RQ5 T2G-Former は、表形式学習タスクにおいて非ディープモデル（例：XGBoost）と同等か、それを上回る性能を達成できるか？

主な発見

• CA データセットにおいて、T2G-Former はテスト精度 45.53%（CA × 100）と Jaccard スコア 73.68% を達成し、ベースラインの DANet モデル（45.88% と 73.08%）を上回った。
• 静的で知識に基づくトポロジー（本研究の手法）は、適応的および自由トポロジー設定よりも優れた性能を示し、事前知識が一般化性能を向上させることを示している。
• グラフベースの相互作用機構により、DANet のグループベース相互作用と比較して、精度で 0.35%、Jaccard スコアで 0.60 の誤差低減が達成され、グラフレベルの構造がグループレベルの構造を上回ることの利点が裏付けられた。
• クロスレベルリードアウトは、複数の層にわたる顕著な特徴量を集約することでグローバルな意味を捉え、最終予測の向上に寄与した。
• FR-Graph とリードアウト機構の可視化により、解釈可能で意味的に意味のある特徴量関係（例：Age–EstimatedSalary、Balance–CreditScore）が明らかになり、モデルの解釈可能性が妥当であることが検証された。
• 固定でスパースなトポロジーのおかげで、計算複雑度が低く抑えられ（O(N log N)）、自由トポロジーと比較して、O(N²) の二次的スケーリングに比べて優れている。