[논문 리뷰] Fusion Graph Convolutional Networks

Priyesh Vijayan, Yash Chandak외 3명|arXiv (Cornell University)|2018. 05. 31.

Advanced Graph Neural Networks참고 문헌 25인용 수 5

한 줄 요약

이 논문은 이항 기저를 통해 다중 홉 이웃 정보를 독립적으로 조절할 수 있도록 하는 단순하면서도 효과적인 융합 레이어인 F-GCN을 제안한다. K-홉 표현을 이항 계수의 가중 조합으로 모델링함으로써 F-GCN은 노드 분류 성능을 크게 향상시켰으며, 여덟 개의 벤치마크 데이터셋 중 여섯 개에서 최신 기술 수준의 모델을 능가했으며, 나머지 데이터셋에서도 경쟁력을 유지한다.

ABSTRACT

Semi-supervised node classification in attributed graphs, i.e., graphs with node features, involves learning to classify unlabeled nodes given a partially labeled graph. Label predictions are made by jointly modeling the node and its' neighborhood features. State-of-the-art models for node classification on such attributed graphs use differentiable recursive functions that enable aggregation and filtering of neighborhood information from multiple hops. In this work, we analyze the representation capacity of these models to regulate information from multiple hops independently. From our analysis, we conclude that these models despite being powerful, have limited representation capacity to capture multi-hop neighborhood information effectively. Further, we also propose a mathematically motivated, yet simple extension to existing graph convolutional networks (GCNs) which has improved representation capacity. We extensively evaluate the proposed model, F-GCN on eight popular datasets from different domains. F-GCN outperforms the state-of-the-art models for semi-supervised learning on six datasets while being extremely competitive on the other two.

연구 동기 및 목표

• 기존 GCN의 다중 홉 이웃 정보를 효과적으로 캡처하고 조절하는 데 한계가 있는 표현 능력의 원인을 규명하고 분석하는 것.
• 현재 GCN가 K-홉 정보를 K차수의 이항식으로 모델링함으로써 다양한 홉의 정보를 선택적으로 조합할 수 있는 능력이 제한된다는 문제를 해결하는 것.
• GCN에서 여러 홉의 정보를 독립적으로 제어할 수 있도록 하는 최소한이지만 강력한 융합 구성 요소를 제안하는 것.
• 다양한 속성 부여된 그래프 데이터셋에서 제안된 F-GCN 모델의 우수성을 경험적으로 검증하는 것.
• 융합 메커니즘이 선형 활성화 함수를 초월해, ReLU 기반 GCN에서도 성능 향상을 이끌어내는지 보여주는 것.

제안 방법

• 모델은 각 기저가 특정한 홉 수에 대응하는 이항 기저 함수의 선형 조합으로 K-홉 이웃 표현을 모델링한다.
• 학습 가능한 융합 레이어를 도입하여, 각각 다른 홉에 해당하는 다양한 그래프 컨볼루션 레이어의 표현을 가중 조합한다.
• 융합 레이어는 다중 GCN 레이어의 출력을 선형 변환을 통해 조합하여 관련 있는 홉에 대한 강조를 선택적으로 가능하게 한다.
• 표준 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 학습시키며, 융합 레이어를 GCN 가중치와 함께 동시에 최적화한다.
• 이 방법은 전이적(GCN) 및 인덕티브(GraphSAGE) 설정 모두와 호환되며, 어떤 GCN 기반 아키텍처에도 적용 가능하다.
• 이항 기저 구조는 모델이 다중 홉 정보의 임의의 조합을 표현할 수 있도록 하여 표현력의 향상을 보장한다.

실험 결과

연구 질문

• RQ1 기존 GCN 모델은 여러 홉의 정보를 독립적으로 조절하고 조합하는 데 효과적으로 기능하는가?
• RQ2 다중 홉 이웃 정보를 이항 기저로 모델링하면 표현 능력과 분류 성능이 향상되는가?
• RQ3 제안된 융합 레이어는 GraphSAGE 및 GCN과 같은 최신 기술 수준의 모델과 비교해 준지도 기반 노드 분류에서 어떻게 성능을 내는가?
• RQ4 융합 메커니즘이 선형 GCN을 초월해, 특히 ReLU 활성화 함수를 사용할 경우 얼마나 일반화되는가?
• RQ5 다양한 홉에서의 관계 정보 패턴을 가진 데이터셋에서 융합 구성 요소는 성능 향상에 기여하는가?

주요 결과

• F-GCN은 여덟 개의 벤치마크 데이터셋 중 여섯 개에서 최신 기술 수준의 모델을 능가하여 노드 분류 정확도에서 일관된 향상을 보였다.
• 아마존 공동 구매 네트워크에서는 F-GCN이 노드 전용 기반 모델보다 10%포인트 높은 성능을 기록하여 다중 홉 관계 구조를 효과적으로 활용할 수 있음을 입증했다.
• 인간 단백질-단백질 상호작용 데이터셋에서는 평균 노드 차수도 높은 상황에서도 고차수 이웃 정보로부터 상당한 성능 향상을 얻었다.
• GraphSAGE 변종보다 아마존 데이터셋에서 약 6% 향상된 성능을 기록했으며, 이는 GraphSAGE가 유연하고 공유되지 않는 집계 함수를 사용하고 있음에도 불구하고 성과였다.
• 모든 데이터셋에서 최고 성능 모델과의 평균 성능 격차를 단 0.241%로 줄여, 높은 일관성과 강건성을 보였다.
• ReLU 활성화 함수를 사용하는 상황에서도 융합 메커니즘이 측정 가능한 성능 향상을 제공하여 선형 분석에서의 통찰이 비선형 설정으로도 효과적으로 일반화됨을 시사했다.