[논문 리뷰] Cross-GCN: Enhancing Graph Convolutional Network with $k$-Order Feature Interactions

Fuli Feng, Xiangnan He외 2명|arXiv (Cornell University)|2020. 03. 05.

Advanced Graph Neural Networks참고 문헌 54인용 수 7

한 줄 요약

이 논문은 새로운 크로스피처 그래프 컨볼루션 연산자를 통해 k차 순서의 특징 상호작용을 명시적으로 모델링하는 그래프 컨볼루션 네트워크인 Cross-GCN을 제안한다. 이는 특징 차원과 순서 크기에서 선형 복잡도를 달성하며, 특히 희박한 저수준 특징을 가진 그래프에서 특징 변환을 향상시켜 노드 분류 성능을 크게 향상시킨다.

ABSTRACT

Graph Convolutional Network (GCN) is an emerging technique that performs learning and reasoning on graph data. It operates feature learning on the graph structure, through aggregating the features of the neighbor nodes to obtain the embedding of each target node. Owing to the strong representation power, recent research shows that GCN achieves state-of-the-art performance on several tasks such as recommendation and linked document classification. Despite its effectiveness, we argue that existing designs of GCN forgo modeling cross features, making GCN less effective for tasks or data where cross features are important. Although neural network can approximate any continuous function, including the multiplication operator for modeling feature crosses, it can be rather inefficient to do so (i.e., wasting many parameters at the risk of overfitting) if there is no explicit design. To this end, we design a new operator named Cross-feature Graph Convolution, which explicitly models the arbitrary-order cross features with complexity linear to feature dimension and order size. We term our proposed architecture as Cross-GCN, and conduct experiments on three graphs to validate its effectiveness. Extensive analysis validates the utility of explicitly modeling cross features in GCN, especially for feature learning at lower layers.

연구 동기 및 목표

• 기존 GCNs가 크로스 피처를 포착하는 데에 한계가 있음을 해결하고자 하며, 이는 추천 및 분류와 같은 작업에 핵심적이다.
• 과도한 파라미터화 없이도 임의의 순서의 특징 상호작용을 명시적으로 모델링할 수 있는 효율적인 특징 변환 모듈을 설계하고자 한다.
• 크로스 피처 모델링을 그래프 컨볼루션 레이어에 통합한 새로운 GCN 아키텍처인 Cross-GCN을 개발하고자 한다.
• 다양한 그래프 데이터셋에서 크로스 피처 모델링의 효과를 검증하고자 하며, 특히 저수준 특징 학습에서의 성능 향상을 평가하고자 한다.
• 표준 GCNs에서 비선형 활성화 함수에만 의존하는 것과는 대비하여, 명시적인 크로스 피처 학습이 더 나은 성능을 이끌어내는지 확인하고자 한다.

제안 방법

• 구조적이고 파라미터 효율적인 메커니즘을 통해 k차 특징 상호작용을 계산하는 크로스피처 그래프 컨볼루션 연산자를 도입한다.
• 입력 특징과 이전 레이어의 출력을 조합하여 고차 상호작용을 점진적으로 구축하는 재귀적 상호작용 메커니즘을 사용한다.
• 다양한 순서의 특징 상호작용을 결합하기 위해 가중치 합 집계 함수를 활용하며, 적응형 융합을 위한 학습 가능한 가중치를 사용한다.
• 특징 차원 D와 상호작용 순서 k에 대해 선형적으로 확장되는 특징 변환 모듈을 설계하여, CIN과 같은 이전 방법의 O(D²) 비용을 피한다.
• 여러 개의 크로스피처 그래프 컨볼루션 레이어를 스택하여 Cross-GCN을 구성함으로써, 명시적인 크로스피처 모델링을 통한 깊이 있는 표현 학습을 가능하게 한다.
• 표준 GCN 스타일의 메시지 패싱을 사용하여 저명도 및 소셜 네트워크에서의 노드 분류 작업에 아키텍처를 적용하며, 향상된 특징 변환을 통합한다.

실험 결과

연구 질문

• RQ1 명시적인 k차 특징 상호작용 모델링이 노드 분류 작업에서 그래프 컨볼루션 네트워크의 성능을 향상시킬 수 있는가?
• RQ2 크로스 피처의 포함 여부가 GCN의 하위 레이어에서 표현 학습에 미치는 영향은 어떠한가?
• RQ3 제안된 크로스피처 그래프 컨볼루션 연산자가 고차 상호작용을 가능하게 하면서도 효율성을 유지하는가?
• RQ4 희박하거나 저수준의 특징을 가진 상황에서, Cross-GCN이 표준 GCNs보다 가장 뚜렷한 성능 향상을 보이는가?
• RQ5 CIN이나 CrossNet과 같은 기존의 크로스피처 모델링 기법과 비교할 때, Cross-GCN은 파라미터 효율성과 성능 면에서 어떻게 다른가?

주요 결과

• Cross-GCN는 크로스 피처로 훈련할 경우 표준 GCN보다 유의미하게 높은 테스트 정확도를 달성하며, 명시적인 크로스피처 모델링의 가치를 입증한다.
• 성능 향상은 희박한 저수준 특징을 가진 그래프에서 가장 두드러지며, 이는 크로스피처 학습이 이러한 환경에서 특히 유익하다는 것을 시사한다.
• 제안된 크로스피처 그래프 컨볼루션 연산자는 특징 차원 D와 상호작용 순서 k에 대해 선형 복잡도를 달성하여, CIN과 같은 O(D²) 방법보다 확장성 면에서 뛰어나다.
• 실험 결과는 크로스피처 학습의 향상 효과가 GCN의 초기 레이어에서 가장 두드러지게 나타남을 보여주며, 이는 크로스피처가 저수준 표현 학습에서 가장 효과적임을 시사한다.
• Cross-GCN는 원시 특징만을 사용할 때도 표준 GCN를 능가하며, 이는 향상된 특징 변환 모듈이 단순한 특징 공학을 넘어서 일반화 성능을 향상시킨다는 것을 의미한다.
• 제거 실험 결과는 성능 향상이 추가 파라미터로 인한 모델 용량 증가 때문이 아니라 명시적인 크로스피처 모델링 덕분임을 확인한다.