[論文レビュー] TabGSL: Graph Structure Learning for Tabular Data Prediction

Jay Chiehen Liao, Cheng–Te Li|arXiv (Cornell University)|May 25, 2023

Data Quality and Management被引用数 4

ひとこと要約

TabGSL は、対照的学習モジュール、トランスフォーマーに基づく特徴抽出器、およびグラフニューラルネットワークを用いて、表形式データの予測のための新しいグラフ構造学習フレームワークを提案する。この手法は、30のベンチマークデータセットで最先端の性能を達成し、決定木ベースのモデルおよび最近の深層学習モデルを上回る。

ABSTRACT

This work presents a novel approach to tabular data prediction leveraging graph structure learning and graph neural networks. Despite the prevalence of tabular data in real-world applications, traditional deep learning methods often overlook the potentially valuable associations between data instances. Such associations can offer beneficial insights for classification tasks, as instances may exhibit similar patterns of correlations among features and target labels. This information can be exploited by graph neural networks, necessitating robust graph structures. However, existing studies primarily focus on improving graph structure from noisy data, largely neglecting the possibility of deriving graph structures from tabular data. We present a novel solution, Tabular Graph Structure Learning (TabGSL), to enhance tabular data prediction by simultaneously learning instance correlation and feature interaction within a unified framework. This is achieved through a proposed graph contrastive learning module, along with transformer-based feature extractor and graph neural network. Comprehensive experiments conducted on 30 benchmark tabular datasets demonstrate that TabGSL markedly outperforms both tree-based models and recent deep learning-based tabular models. Visualizations of the learned instance embeddings further substantiate the effectiveness of TabGSL.

研究の動機と目的

• 事前に用意されたグラフに依存せずに、表形式データから直接グラフトポロジーを導出するグラフ構造学習手法の不足を補うこと。
• 表形式データの文脈で、特徴間の相互作用とインスタンスレベルの相関関係を統合的な深層学習フレームワークで同時にモデル化すること。
• ノイズに強いグラフ構造を学習することで、グラフ対照的学習を介して表現学習を強化し、表形式データの予測性能を向上させること。
• 表形式データからグラフ構造を学習することで、勾配ブースティング決定木と同等またはそれ以上の性能を示す深層学習モデルの可能性を実証すること。

提案手法

• 教師-生徒フレームワークを用いて、表形式データからインスタンスレベルのグラフ構造を学ぶ対照的学習モジュールを提案する。
• 特徴間の相互作用を捉えるために、トランスフォーマーに基づく特徴抽出器を用いて文脈に応じた埋め込みを生成する。
• 学習されたグラフ構造と統合されたグラフニューラルネットワーク (GNN) を用いて、近隣情報の集約とインスタンスレベルの表現の最適化を実現する。
• エンドツーエンドの学習を用いて、グラフ構造学習、特徴表現、および予測ヘッドを同時に最適化する。
• 対照的学習中にデータマスキングを適用し、グラフ構造の最適化に向けたポジティブおよびネガティブなビューを生成する。
• t-SNE 視覚化を用いて、元の特徴、SUBLIME、および TabGSL の間で学習されたインスタンス埋め込みの品質を分析・比較する。

実験結果

リサーチクエスチョン

• RQ1 既存の深層学習モデルや決定木ベースのモデルと比較して、表形式データからグラフ構造を学習することで予測性能が向上するか？
• RQ2 事前にグラフ構造が与えられていない状況でも、提案された対照的学習機構が意味のあるインスタンスレベルの相関関係を効果的に学習できるか？
• RQ3 学習されたグラフ構造は、元の特徴や既存の GSL メソッドと比較して、埋め込み空間におけるクラス分離性をどの程度向上させるか？
• RQ4 特徴間の相互作用とインスタンス同士の関連性を同時にモデル化することで、表形式データの予測における一般化性能が向上するか？

主な発見

• TabGSL は、30のベンチマーク表形式データセットで最先端の性能を達成し、勾配ブースティング決定木および最近の深層学習ベースの表形式データモデルを上回る。
• t-SNE 視覚化の結果、TabGSL の埋め込みは、元の特徴や SUBLIME の埋め込みと比較して、はるかに優れたクラス分離性を示しており、同じクラスに属するインスタンスがより密にクラスタリングされている。
• 対照的学習モジュールが、真のインスタンスレベルの相関関係を反映するようにグラフ構造を効果的にガイドしていることが、クラスタリング精度と予測精度の向上から裏付けられている。
• トランスフォーマーに基づく特徴抽出とグラフ構造学習を統合することで、表現の質が向上し、GNN がよりロバストで情報量の多いノード埋め込みを学習できるようになった。
• 表形式データからグラフ構造を学習する手法が、単独で実行されても、決定木ベースのモデルと同等またはそれ以上の性能向上を達成できることを実証した。
• 学習されたグラフ構造により、不要な特徴やノイズの影響が軽減され、特徴の有用性と類似度に基づいてエッジ重みが調整される。