[논문 리뷰] T2G-Former: Organizing Tabular Features into Relation Graphs Promotes Heterogeneous Feature Interaction

Jiahuan Yan, Jintai Chen외 3명|arXiv (Cornell University)|2022. 11. 30.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

T2G-Former는 테이블 형 데이터의 구조적이고 이질적인 특징 상호작용을 가능하게 하는 새로운 그래프 추정기(GE)를 제안한다. 이는 트랜스포머 기반 아키텍처에서 특징을 지식 기반 그래프로 조직함으로써 모델의 표현력을 향상시키고, 딥 뉴럴 네트워크 중 최고 수준의 성능을 달성하며, 기존 방법들을 능가하고 XGBoost와 동등한 예측 정확도를 기록한다.

ABSTRACT

Recent development of deep neural networks (DNNs) for tabular learning has largely benefited from the capability of DNNs for automatic feature interaction. However, the heterogeneity nature of tabular features makes such features relatively independent, and developing effective methods to promote tabular feature interaction still remains an open problem. In this paper, we propose a novel Graph Estimator, which automatically estimates the relations among tabular features and builds graphs by assigning edges between related features. Such relation graphs organize independent tabular features into a kind of graph data such that interaction of nodes (tabular features) can be conducted in an orderly fashion. Based on our proposed Graph Estimator, we present a bespoke Transformer network tailored for tabular learning, called T2G-Former, which processes tabular data by performing tabular feature interaction guided by the relation graphs. A specific Cross-level Readout collects salient features predicted by the layers in T2G-Former across different levels, and attains global semantics for final prediction. Comprehensive experiments show that our T2G-Former achieves superior performance among DNNs and is competitive with non-deep Gradient Boosted Decision Tree models.

연구 동기 및 목표

• 특징이 다양한 비균일한 공간에 존재하고 종종 상관관계가 없는 테이블 형 데이터에서 이질적인 특징 상호작용의 과제를 해결한다.
• 완전히 연결된 또는 그룹 기반의 특징 상호작용 메커니즘이 노이즈를 유발하거나 그룹 내 상호작용을 모델링하지 못하는 한계를 극복한다.
• 의미 있는 특징 의존성을 포착하면서도 관련 없거나 노이즈가 많은 상호작용을 걸러내는 학습 가능한 지식 기반 관계 그래프 구조를 개발한다.
• 관계 그래프를 자기주의 어텐션 메커니즘에 통합하여 구조적인 특징 상호작용을 가능하게 하는 특화된 트랜스포머 아키텍처(T2G-Former)를 설계한다.
• 기계 학습 트리 기반 모델(XGBoost 등)과 경쟁 가능한 성능을 달성하면서도 딥 러닝 모델의 미분 가능성과 확장성 유지한다.

제안 방법

• 쌍별 특징 관계를 미분 가능하고 적응적인 엣지 가중치 메커니즘을 사용하여 학습함으로써 정적 지식 기반 관계 그래프(FR-Graph)를 학습하는 그래프 추정기(GE)를 제안한다.
• 도메인 지식에서 유도된 사전 정의된 토폴로지 기반으로 관계 그래프를 구성하며, 특징 상관관계 강도를 반영하기 위해 유사 어텐션 메커니즘을 사용해 엣지 가중치를 학습한다.
• 트랜스포머 인코더의 자기주의 어텐션 메커니즘에 FR-Graph를 통합하여 관련 특징 간에 구조화되고 그래프 인식 기반 메시지 전달을 가능하게 한다.
• 다중 트랜스포머 레이어를 통해 주요 특징을 집계하여 계층적 표현을 캡처하고 최종 예측을 생성하는 크로스레벨 리더아웃 모듈을 설계한다.
• 그래프 기반 상호작용 이전에 원시 테이블 형 특징을 공유 잠재 공간에 임bedding하는 특징 토크나이저를 사용하여 트랜스포머 프레임워크와의 호환성을 확보한다.
• FR-Graph 토폴로지가 학습 기간 동안 고정되어 해석 가능성과 안정성을 확보하도록 표준 분류 또는 회귀 손실을 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 학습 가능한 지식 기반 관계 그래프가 완전히 연결되거나 그룹 기반 방법에 비해 테이블 형 데이터의 특징 상호작용을 향상시키는가?
• RQ2 특징 상호작용을 그래프 토폴로지로 구조화함으로써 테이블 형 벤치마크에서 더 나은 모델 성능과 일반화 능력을 달성하는가?
• RQ3 정적, 적응형, 자유 토폴로지 중 어떤 선택이 모델 성능과 계산 복잡도에 영향을 미치는가?
• RQ4 관계 그래프와 리더아웃 메커니즘이 가장 예측 가능한 특징과 관계를 제공하는지에 대해 해석 가능한 통찰을 제공하는가?
• RQ5 T2G-Former가 테이블 형 학습 작업에서 비딥 모델(XGBoost 등)과 비교해 어느 정도 성능을 matching하거나 초월하는가?

주요 결과

• CA 데이터셋에서 T2G-Former는 테스트 정확도 45.53% (CA × 100)와 재현율 점수 73.68%를 기록하여 기준 모델인 DANet(45.88%, 73.08%)를 능가한다.
• 정적 지식 기반 토폴로지(본 연구)는 적응형 및 자유 토폴로지 설정보다 뛰어난 성능을 보이며, 사전 지식이 일반화 능력을 향상시킨다는 것을 시사한다.
• 그래프 기반 상호작용 메커니즘은 DANet의 그룹 기반 상호작용 대비 정확도 0.35%p 감소 및 재현율 점수 0.60 향상으로, 그래프 수준의 구조가 그룹 수준의 구조보다 유의미한 이점을 제공함을 입증한다.
• 크로스레벨 리더아웃은 레이어 간 주요 특징을 수집함으로써 글로벌 의미를 효과적으로 캡처하여 최종 예측 향상에 기여한다.
• FR-Graph 및 리더아웃 메커니즘의 시각화 결과는 해석 가능하고 의미적으로 유의미한 특징 관계(예: Age–EstimatedSalary, Balance–CreditScore)를 확인할 수 있어 모델의 해석 가능성 검증에 기여한다.
• 자신의 희박한 정적 토폴로지 덕분에 계산 복잡도가 낮게 유지되며(O(N log N)) 자유 토폴로지의 경우 이차적으로 증가하는(O(N²)) 것과 대비된다.