[논문 리뷰] Feature Interaction-aware Graph Neural Networks

Kaize Ding, Yichuan Li외 3명|arXiv (Cornell University)|2019. 08. 19.

Advanced Graph Neural Networks참고 문헌 45인용 수 4

한 줄 요약

이 논문은 특성 희소 그래프에서 노드 표현 학습을 향상시키기 위해 정보성 특성 상호작용을 명시적으로 모델링하는 개인화된 어텐션 메커니즘을 통해 특성 상호작용 인식 그래프 신경망(FI-GNNs)을 제안한다. 특성 분해를 그래프 메시지 전파와 통합함으로써 FI-GNNs는 실제 데이터셋에서 노드 분류 및 링크 예측 작업 전반에서 뛰어난 성능을 달성한다.

ABSTRACT

Inspired by the immense success of deep learning, graph neural networks (GNNs) are widely used to learn powerful node representations and have demonstrated promising performance on different graph learning tasks. However, most real-world graphs often come with high-dimensional and sparse node features, rendering the learned node representations from existing GNN architectures less expressive. In this paper, we propose extit{Feature Interaction-aware Graph Neural Networks (FI-GNNs)}, a plug-and-play GNN framework for learning node representations encoded with informative feature interactions. Specifically, the proposed framework is able to highlight informative feature interactions in a personalized manner and further learn highly expressive node representations on feature-sparse graphs. Extensive experiments on various datasets demonstrate the superior capability of FI-GNNs for graph learning tasks.

연구 동기 및 목표

• 실제 그래프에서 고차원적이고 희소한 노드 특성으로부터 표현력 있는 표현을 학습하는 데에 기존 GNN의 한계를 해결하기 위해.
• 수작업 특성 공학이나 도메인 전문 지식에 의존하지 않고 의미 있는 특성 상호작용을 자동으로 학습하기 위해.
• 노드 수준의 개인화와 그래프 구조를 유지하면서 특성 상호작용 모델링을 그래프 메시지 전파와 통합하기 위해.
• 이질적이고 부호가 있는 그래프를 포함한 다양한 그래프 유형에 대응할 수 있는 다양한 GNN 아키텍처와 호환되는 플러그 앤 플레이 프레임워크를 개발하기 위해.
• 특성 상호작용 인식이 최종 그래프 학습 작업을 위한 노드 표현 품질 향상에 어떻게 기여하는지 입증하기 위해.

제안 방법

• 프레임워크는 지역 이웃의 원시 노드 특성을 반복적으로 압축하고 전파하는 메시지 집계기 기반으로 구성된다.
• 특성 분해기(Feature factorizer)는 쌍방향 및 고차원 특성 상호작용을 인코딩하는 저차원 임베딩을 학습한다.
• 개인화된 어텐션 모듈은 집계된 특성을 쿼리로 사용하여 각 노드에 가장 관련성이 높은 특성 상호작용을 동적으로 강조한다.
• 어텐션 메커니즘은 작업에 특화된 관련성에 기반해 다양한 특성 상호작용의 영향력을 균형 있게 조정하도록 엔드 투 엔드로 훈련된다.
• 프레임워크는 모듈식이며, GCN, GAT, 또는 GraphSAGE와 같은 모델에 쉽게 통합할 수 있는 모든 GNN 아키텍처와 호환된다.
• 표준 그래프 학습 목표(노드 분류의 경우 교차 엔트로피, 링크 예측의 경우 음성 샘플링)를 사용하여 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 고차원적이고 희소한 그래프 데이터에서 특성 상호작용을 명시적으로 모델링하면 노드 표현 학습에 도움이 될 수 있는가?
• RQ2 개인화된 어텐션을 어떻게 사용하여 각 노드에 가장 정보성 있는 특성 상호작용을 동적으로 선택할 수 있는가?
• RQ3 특성 상호작용을 통합함으로써 노드 분류 및 링크 예측 작업의 성능 향상은 어느 정도 이루어지는가?
• RQ4 제안된 FI-GNN 프레임워크는 다양한 GNN 아키텍처와 그래프 유형에 일반화 가능한가?
• RQ5 그래프 구조 데이터에 적용했을 때, 기존의 특성 상호작용 방법(예: Factorization Machines)과 비교해 모델 성능는 어떻게 되는가?

주요 결과

• FI-GNNs는 BlogCatalog와 Cora를 포함한 네 개의 실제 데이터셋에서 GCN 및 GAT과 같은 표준 GNN보다 노드 분류 및 링크 예측 작업에서 뛰어난 성능을 보였다.
• 제거 실험 결과, 개인화된 어텐션 모듈을 제거하면 성능이 뚜렷이 저하됨을 확인하여, 이 모듈이 정보성 특성 상호작용을 강조하는 데 핵심적인 역할을 함을 입증했다.
• 개인화된 어텐션 메커니즘을 포함하지 않은 FI-GCN-Con은 FI-GCN보다 뚜렷한 성능 차이를 보이며, 동적 상호작용 선택의 중요성을 확인했다.
• t-SNE 시각화 결과, FI-GNNs는 DeepWalk, node2vec, GCN와 비교해 더 밀도 있고 잘 분리된 클래스 클러스터를 생성함을 확인하여, 더 뛰어난 분류 능력을 지닌 것으로 나타났다.
• 평가된 모든 벤치마크에서 최고 성능을 기록하여, 희소 특성 그래프 처리에 효과적임을 입증했다.
• FI-GNNs는 다양한 GNN과 호환되며 이질적이고 부호가 있는 그래프로도 확장 가능하여 플러그 앤 플레이 유연성을 확인했다.