[논문 리뷰] TabGSL: Graph Structure Learning for Tabular Data Prediction

Jay Chiehen Liao, Cheng–Te Li|arXiv (Cornell University)|2023. 05. 25.

Data Quality and Management인용 수 4

한 줄 요약

TabGSL는 표본 상관관계와 특성 상호작용을 대비 학습 모듈, 트랜스포머 기반 특성 추출기, 그래프 신경망을 통해 공동으로 학습하는 표본 데이터 예측을 위한 새로운 그래프 구조 학습 프레임워크를 제안한다. 이는 30개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 트리 기반 및 최근의 딥러닝 모델들을 모두 능가한다.

ABSTRACT

This work presents a novel approach to tabular data prediction leveraging graph structure learning and graph neural networks. Despite the prevalence of tabular data in real-world applications, traditional deep learning methods often overlook the potentially valuable associations between data instances. Such associations can offer beneficial insights for classification tasks, as instances may exhibit similar patterns of correlations among features and target labels. This information can be exploited by graph neural networks, necessitating robust graph structures. However, existing studies primarily focus on improving graph structure from noisy data, largely neglecting the possibility of deriving graph structures from tabular data. We present a novel solution, Tabular Graph Structure Learning (TabGSL), to enhance tabular data prediction by simultaneously learning instance correlation and feature interaction within a unified framework. This is achieved through a proposed graph contrastive learning module, along with transformer-based feature extractor and graph neural network. Comprehensive experiments conducted on 30 benchmark tabular datasets demonstrate that TabGSL markedly outperforms both tree-based models and recent deep learning-based tabular models. Visualizations of the learned instance embeddings further substantiate the effectiveness of TabGSL.

연구 동기 및 목표

• 기존의 그래프가 없는 표본 데이터로부터 직접 그래프 구조를 유도하는 그래프 구조 학습 방법의 부족을 보완하기 위해.
• 표본 데이터를 위한 통합 딥러닝 프레임워크에서 특성 상호작용과 인스턴스 수준의 상관관계를 공동으로 모델링하기 위해.
• 노이즈에 강건한 그래프 구조를 학습하여 그래프 대비 학습을 통해 표현 학습을 향상시킴으로써 표본 데이터 예측 성능을 향상시키기 위해.
• 표본 데이터로부터의 그래프 구조 학습이 딥러닝 모델이 기울기 부스팅 결정 트리 모델과 경쟁하거나 승리할 수 있음을 입증하기 위해.

제안 방법

• 표본 수준의 그래프 구조를 표본 데이터로부터 유도하기 위해 교사-학생 프레임워크를 사용하는 그래프 대비 학습 모듈을 제안한다.
• 특성 간 상호작용을 캡처하기 위해 표본 특성에 대한 맥락 기반 임베딩을 생성하기 위해 트랜스포머 기반 특성 추출기를 활용한다.
• 학습된 그래프 구조와 함께 그래프 신경망(GNN)을 통합하여 이웃 정보를 집계하고 인스턴스 수준의 표현을 개선한다.
• 엔드 투 엔드 학습을 통해 그래프 구조 학습, 표현 학습, 예측 헤드를 공동으로 최적화한다.
• 대비 학습 중 데이터 마스킹을 적용하여 그래프 구조 개선을 위한 양성 및 음성 시각을 생성한다.
• 학습된 인스턴스 임베딩의 품질을 분석하고 비교하기 위해 t-SNE 시각화를 활용한다.

실험 결과

연구 질문

• RQ1 기존의 딥러닝 및 트리 기반 모델과 비교해 볼 때, 표본 데이터로부터의 그래프 구조 학습이 예측 성능 향상에 기여할 수 있는가?
• RQ2 기존의 그래프 구조 없이도 제안된 대비 학습 메커니즘이 의미 있는 인스턴스 수준의 상관관계를 효과적으로 학습할 수 있는가?
• RQ3 학습된 그래프 구조는 원본 특성 또는 기존의 GSL 방법과 비교해 임베딩 공간에서 클래스 간 분리도를 어느 정도 향상시키는가?
• RQ4 특성 상호작용과 인스턴스 연관성의 공동 모델링이 표본 데이터 예측에서 더 나은 일반화 성능을 이끌 수 있는가?

주요 결과

• TabGSL는 30개의 벤치마크 표본 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 기울기 부스팅 결정 트리 모델과 최근의 딥러닝 기반 표본 모델을 모두 능가한다.
• t-SNE 시각화 결과, TabGSL 임베딩은 원본 특성과 SUBLIME 임베딩보다 훨씬 뛰어난 클래스 분리도를 보이며, 같은 클래스에 속한 인스턴스들이 더 가깝게 군집되어 있음을 확인할 수 있다.
• 대비 학습 모듈은 진정한 인스턴스 수준의 상관관계를 반영하도록 그래프 구조를 효과적으로 이끌어내었으며, 이는 클러스터링 및 예측 정확도 향상으로서 입증되었다.
• 트랜스포머 기반 특성 추출기와 그래프 구조 학습의 통합은 표현 품질을 향상시켜 GNN이 더 강건하고 정보량이 풍부한 노드 임베딩을 학습할 수 있도록 하였다.
• 표본 데이터로부터의 그래프 구조 학습만으로도 트리 기반 모델과 비교해 유사하거나 이를 초월하는 성능 향상을 달성할 수 있음을 입증하였다.
• 학습된 그래프 구조는 특성의 유용성과 유사도에 따라 간선 가중치를 조정함으로써 관련이 없는 또는 노이즈가 많은 특성의 악영향을 완화하는 데 기여한다.