[논문 리뷰] Powerful Graph Convolutioal Networks with Adaptive Propagation Mechanism for Homophily and Heterophily

Tao Wang, Rui Wang외 3명|arXiv (Cornell University)|2021. 12. 27.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 노드 쌍 간에 학습된 동질성 정도에 따라 동적으로 조정되는 적응형 전파 메커니즘을 갖춘 그래프 컬러지언넷워크(HOG-GCN)를 제안한다. 그래프의 구조와 노드 특성에서 동시에 동질성 정도를 학습함으로써, 동질성과 이질성 모두의 그래프에서 성능을 향상시키며, 저동질성 데이터셋에서는 최신 기법들을 능가하고 동질성 그래프에서는 경쟁력 있는 성능을 유지한다.

ABSTRACT

Graph Convolutional Networks (GCNs) have been widely applied in various fields due to their significant power on processing graph-structured data. Typical GCN and its variants work under a homophily assumption (i.e., nodes with same class are prone to connect to each other), while ignoring the heterophily which exists in many real-world networks (i.e., nodes with different classes tend to form edges). Existing methods deal with heterophily by mainly aggregating higher-order neighborhoods or combing the immediate representations, which leads to noise and irrelevant information in the result. But these methods did not change the propagation mechanism which works under homophily assumption (that is a fundamental part of GCNs). This makes it difficult to distinguish the representation of nodes from different classes. To address this problem, in this paper we design a novel propagation mechanism, which can automatically change the propagation and aggregation process according to homophily or heterophily between node pairs. To adaptively learn the propagation process, we introduce two measurements of homophily degree between node pairs, which is learned based on topological and attribute information, respectively. Then we incorporate the learnable homophily degree into the graph convolution framework, which is trained in an end-to-end schema, enabling it to go beyond the assumption of homophily. More importantly, we theoretically prove that our model can constrain the similarity of representations between nodes according to their homophily degree. Experiments on seven real-world datasets demonstrate that this new approach outperforms the state-of-the-art methods under heterophily or low homophily, and gains competitive performance under homophily.

연구 동기 및 목표

• GCN이 강한 동질성을 가정하는 데서 비롯하는 한계를 해결하기 위해, 현실 세계의 이질성 네트워크에서 실패하는 문제를 해결한다.
• 기존의 이질성 인식 GNN에서 고차원 이웃 집합의 전파로 인해 발생하는 노이즈와 관련 없는 정보를 극복한다.
• 고정된 가정에 의존하지 않고, 노드 쌍 간의 동질성 수준에 따라 전파 메커니즘을 적응적으로 조정하는 전파 메커니즘을 설계한다.
• 동질성 정도 추정과 특성 전파를 종합적으로 엔드 투 엔드로 훈련시켜 일반화 능력을 향상시킨다.
• 모델이 동질성 정도에 따라 표현 유사도를 제약함으로써 이론적으로 타당성을 입증한다.

제안 방법

• 노드 쌍 간의 동질성/이질성을 구조적 정보와 특성 정보를 바탕으로 캡처하는 학습 가능한 동질성 정도 행렬을 도입한다.
• 노드 특성과 그래프 구조에서 유도된 클래스 인식 표현을 통해 동질성 정도를 추정하고, 이를 가중치 α와 β를 가진 학습 가능한 가중치와 결합한다.
• 동질성 정도 행렬을 그래프 컬러지언넷워크 프레임워크에 통합하여 메시지 전파 및 집합 과정을 조정한다.
• k차 이웃 범위 내에서 일반화된 레이블 전파와 동질성 유도 특성 전파 메커니즘을 통합하여 수용 영역과 노이즈 사이의 균형을 맞춘다.
• 동질성 정도 추정과 특성 전파를 종합적으로 엔드 투 엔드 방식으로 훈련시킨다.
• 이론적 분석을 통해 모델이 동질성 정도에 따라 표현 유사도를 제약함으로써, 동질성과 이질성 모두의 설정에서 더 나은 클래스 구분이 가능하다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 동질성과 이질성 그래프 구조를 모두 처리할 수 있도록 그래프 컬러지언넷워크가 전파 메커니즘을 동적으로 적응시킬 수 있는가?
• RQ2 노드 쌍 간의 동질성 정도를 구조적 정보와 노드 특성에서 효과적으로 학습하여 특성 전파를 이끌 수 있는가?
• RQ3 특성 정보와 구조적 정보를 융합하면 저동질성 환경에서 GNN의 강인성과 성능이 향상되는가?
• RQ4 고차원 이웃 집합의 전파에서 발생하는 노이즈를 피하면서도 이질성 네트워크에서 충분한 내부 클래스 정보를 유지할 수 있는가?
• RQ5 제안된 적응형 메커니즘이 동질성 정도에 따라 표현 유사도를 제어하는 데 이론적으로 타당한가?

주요 결과

• Texas와 Cornell와 같은 이질성 그래프에서는 k=2 이웃 범위를 사용할 때 성능 향상이 뚜렷하며, k=1 및 더 높은 k 값보다 뛰어나다.
• Cora와 Citeseer와 같은 동질성 그래프에서는 k=2에서 성능이 안정되거나 약간 향상되지만, 더 높은 k 값에서는 성능 저하가 발생하여 직접 이웃만으로도 충분하고 고차원 집합 전파가 노이즈를 유발한다는 점을 시사한다.
• 특성과 구조적 정보의 최적 조합(α=0.4, β=0.6)이 Texas에서 최고의 성능을 내어, 두 정보 소스의 융합의 중요성을 입증한다.
• 학습된 동질성 정도 행렬은 동질성 간선에 대해 높은 가중치를 할당하고 이질성 간선에 대해 낮은 가중치를 할당하여 적응적 행동을 성공적으로 구현했다.
• HOG-GCN은 저동질성 또는 이질성 환경에서의 모든 일곱 개의 실제 세계 데이터셋에서 최신 기법들을 능가하며, 강한 동질성 환경에서는 경쟁력 있는 성능을 유지한다.
• 이론적 분석을 통해 모델이 동질성 정도에 따라 표현 유사도를 제약함으로써, 동질성과 이질성 환경 모두에서 더 나은 클래스 구분이 가능하다는 점을 확인했다.