[논문 리뷰] GraphFM: Graph Factorization Machines for Feature Interaction Modeling

Shu Wu, Zekun Li외 4명|arXiv (Cornell University)|2021. 05. 25.

Advanced Graph Neural Networks참고 문헌 57인용 수 14

한 줄 요약

GraphFM은 유의미한 상호작용을 명시적으로 학습하면서 적응형 엣지 선택을 통해 노이즈를 걸러내는 동적 상호작용 그래프를 구성함으로써 고차원 특징 상호작용을 모델링하는 새로운 그래프 인자화 기계를 제안한다. FM의 잠재 벡터 상호작용을 GNN 스타일의 근접 집합과 통합하여 CTR 예측 성능을 향상시킨다. 이 모델은 명시적인 의미 있는 상호작용을 학습함으로써 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Factorization machine (FM) is a prevalent approach to modeling pairwise (second-order) feature interactions when dealing with high-dimensional sparse data. However, on the one hand, FM fails to capture higher-order feature interactions suffering from combinatorial expansion. On the other hand, taking into account interactions between every pair of features may introduce noise and degrade prediction accuracy. To solve the problems, we propose a novel approach, Graph Factorization Machine (GraphFM), by naturally representing features in the graph structure. In particular, we design a mechanism to select the beneficial feature interactions and formulate them as edges between features. Then the proposed model, which integrates the interaction function of FM into the feature aggregation strategy of Graph Neural Network (GNN), can model arbitrary-order feature interactions on the graph-structured features by stacking layers. Experimental results on several real-world datasets have demonstrated the rationality and effectiveness of our proposed approach. The code and data are available at https://github.com/CRIPAC-DIG/GraphCTR}{https://github.com/CRIPAC-DIG/GraphCTR

연구 동기 및 목표

• 요소 상호작용의 조합 폭발과 관련 없는 쌍별 상호작용으로 인한 노이즈로 인해 기존의 인자화 기계(FM)가 고차원 상호작용을 모델링하는 데에 한계를 가진다는 문제를 해결하기 위해.
• 딥러닝 기반의 FM 변종에서 암묵적이고 비트 단위로 학습되는 고차원 상호작용을 해결하기 위해, 특징 상호작용을 명시적이고 해석 가능한 방식으로 모델링할 수 있도록 하기 위해.
• 그래프 신경망(GNN)을 활용해 구조화된 특징 상호작용 학습을 가능하게 하되, 동적 엣지 구성으로 유익한 상호작용만 모델링하도록 보장하기 위해.
• 학습된 상호작용 그래프와 엣지 가중치를 시각화하여 인간이 이해할 수 있는 모델 예측 해석을 제공하기 위해.
• 상호작용 차수와 근접성 크기의 영향을 실증적으로 검증하기 위해.

제안 방법

• 특징을 그래프의 노드로 표현하고, 쌍별 특징 상호작용을 엣지로 모델링하며, 엣지 가중치는 미분 가능한 상호작용 선택 메커니즘을 통해 학습한다.
• FM의 내적 기반 상호작용 함수를 GNN 스타일의 메시지 전달 프레임워크에 통합하여 레이어 간 상호작용을 집계한다.
• 다중 레이어 아키텍처를 사용하여 각 레이어가 고차원 상호작용을 모델링하며, 상호작용의 순서가 깊이에 따라 증가하도록 한다.
• 각 레이어에서 상위-k 선택 전략을 적용하여 가장 유익한 특징 상호작용만 유지함(예: 순서-2에 대해 상위-7, 순서-3에 대해 상위-4 등)으로 노이즈와 계산 비용을 감소시킨다.
• 모델을 엔드 투 엔드로 훈련하며, 특징 임베딩과 상호작용 가중치를 함께 최적화할 수 있도록 미분 가능한 손실 함수를 사용한다.
• 레이어 간에 학습된 엣지 가중치를 시각화하여 모델 결정을 해석하고 선택된 상호작용의 의미 있는지 검증한다.

실험 결과

연구 질문

• RQ1 특징 상호작용의 그래프 구조적 표현이 관련 없는 또는 노이즈가 많은 쌍별 상호작용을 걸러내면서도 고차원 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 그래프 네트워크의 깊이가 점점 더 복잡한 특징 상호작용을 포착하는 데에 미치는 영향은 어떠한가?
• RQ3 각 레이어당 선택된 상호작용의 수가 모델 성능과 일반화 능력에 얼마나 큰 영향을 미치는가?
• RQ4 학습된 상호작용 그래프가 인간이 이해할 수 있는 모델 예측 설명을 제공할 수 있는가?
• RQ5 다양한 실세계 데이터셋에서 기존의 SOTA 모델과 비교할 때 GraphFM의 예측 정확도와 내구성은 어떠한가?

주요 결과

• GraphFM은 MovieLens-1M 및 Criteo를 포함한 여러 실세계 데이터셋에서 최신 기술 수준(SOTA) 기준선을 능가하며 AUC와 로그 손실에서 뚜렷한 성능 향상을 보였다.
• 각 레이어당 샘플링된 상호작용 수가 정교하게 튜닝될 경우 모델이 최고 성능을 발휘하며, MovieLens-1M에서 최적 설정은 m₂×m₃ ≈ 9 정도였다.
• 엣지 가중치의 시각화 결과, 순서-2 상호작용은 대부분 유익한 것으로 나타났고, 높은 순서의 상호작용(순서-3 및 순서-4)은 인스턴스 간에 더 선택적이고 겹치지 않는 경향을 보여, 중복 조합을 효과적으로 걸러내는 것을 확인했다.
• 모델은 성별과 연령, 시청 시간, 장르 등의 의미 있는 특징 조합을 성공적으로 식별하여 예측에 대한 설명 가능한 근거를 제공했다.
• 정확하게 예측된 인스턴스에서는 고차원 상호작용이 다양하고 맥락에 특화되어 있었고, 잘못 예측된 인스턴스에서는 상호작용이 겹치거나 중복되는 경향이 더 뚜렷하여, 모델의 선택 메커니즘이 타당함을 검증했다.
• 제거 실험(ablation study) 결과, 상호작용 순서와 모델링되는 상호작용 수가 성능에 상당한 영향을 미치며, 이웃의 크기가 너무 크거나 너무 작을 경우 수익 감소 현상이 나타남을 확인했다.