[논문 리뷰] Higher-order Weighted Graph Convolutional Networks

Songtao Liu, Lingwei Chen외 4명|arXiv (Cornell University)|2019. 11. 11.

Advanced Graph Neural Networks참고 문헌 35인용 수 13

한 줄 요약

이 논문은 Lasso 기반의 특성 손실 최소화를 통해 일阶 및 고계 이웃의 적응형 가중 평균을 학습하는 새로운 GCN 변종인 고계 가중 그래프 컨볼루션 네트워크(HWGCN)를 제안한다. 노드 특성과 그래프 구조를 함께 활용함으로써 HWGCN는 노드 표현 학습을 향상시키고, Cora, Citeseer, Pubmed에서 GCN, GAT, MixHop보다 우수한 최신 기술 성능을 달성한다.

ABSTRACT

Graph Convolution Network (GCN) has been recognized as one of the most effective graph models for semi-supervised learning, but it extracts merely the first-order or few-order neighborhood information through information propagation, which suffers performance drop-off for deeper structure. Existing approaches that deal with the higher-order neighbors tend to take advantage of adjacency matrix power. In this paper, we assume a seemly trivial condition that the higher-order neighborhood information may be similar to that of the first-order neighbors. Accordingly, we present an unsupervised approach to describe such similarities and learn the weight matrices of higher-order neighbors automatically through Lasso that minimizes the feature loss between the first-order and higher-order neighbors, based on which we formulate the new convolutional filter for GCN to learn the better node representations. Our model, called higher-order weighted GCN(HWGCN), has achieved the state-of-the-art results on a number of node classification tasks over Cora, Citeseer and Pubmed datasets.

연구 동기 및 목표

• 깊은 GCN의 성능 저하를 완화하기 위해 제한된 수신 영역과 고계 이웃 간의 정보 중복 문제를 해결한다.
• 기존 방법들이 고계 이웃 집계에 단지 인접 행렬의 거듭제곱에 의존하는 데서 비롯되는 한계를 극복한다.
• 유사도 기반으로 관련성이 높은 고계 이웃을 식별하고 가중치를 부여하는 비지도 특성 인식 메커니즘을 개발한다.
• 일계 이웃과 고계 이웃 간의 특성 재구성 손실을 최소화하여 노드 표현 학습을 향상시킨다.
• 아키텍처의 대대적인 수정 없이도 표준 인용 네트워크 노드 분류 벤치마크에서 최신 기술 성능을 달성한다.

제안 방법

• 학습 가능한 가중치 행렬을 사용하여 일계 및 고계 이웃 정보를 통합하는 새로운 그래프 컨볼루션 필터를 제안한다.
• 일계 이웃과 고계 이웃 간의 특성 손실을 최소화하기 위해 Lasso 기반 최적화 목표를 도입하여 희박성과 관련성을 증진시킨다.
• 노드 특성과 그래프 구조를 함께 활용하여 가중치 행렬을 학습함으로써 고계 정보의 직교적이고 의미 있는 집합을 보장한다.
• 특성 유사도를 기반으로 정보가 풍부한 이웃을 선택하는 볼록 최적화 문제를 해결하여 고계 이웃 표현을 구성한다.
• 학습된 가중 고계 컨볼루션을 기존 GCN 프레임워크에 통합하여 원래 아키텍처를 유지하면서도 표현력을 향상시킨다.
• 기존 GCN와 동일하게 대칭 정규화와 ReLU 활성화 함수를 적용하여 학습의 호환성과 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 인접 행렬의 거듭제곱에 의존하지 않고도 GCN에서 고계 이웃 정보를 효과적이고 효율적으로 집계할 수 있는가?
• RQ2 노드 특성을 어떻게 활용하여 그래프 컨볼루션에서 고계 이웃의 선택과 가중치 부여를 향상시킬 수 있는가?
• RQ3 일계 이웃과 고계 이웃 간의 특성 손실을 최소화하는 것이 노드 표현 학습에 더 나은 성능을 이끌어낼 수 있는가?
• RQ4 Lasso 기반의 비지도 이웃 가중치 부여 방법이 GCN의 일반화 능력을 향상시키고 과적합을 줄이는 데 기여하는가?
• RQ5 제안된 HWGCN 모델이 표준 인용 네트워크 벤치마크에서 최신 기술 성능을 달성하는가?

주요 결과

• Cora에서 HWGCN는 82.9%의 정확도를 기록하여 GCN(81.5%)과 GAT(83.0%)를 초월하고 최고 성능 모델과 동등한 성능을 보였다.
• Citeseer에서 HWGCN는 71.7%의 정확도를 기록하여 GCN(70.3%)과 GAT(72.5%)를 약간 앞서며 일관된 성능 향상을 입증했다.
• Pubmed에서 HWGCN는 80.5%의 정확도를 기록하여 GCN(79.0%)을 초월하고 MixHop(80.8%)과 동등한 성능을 보이며 다양한 데이터셋에서 뛰어난 일반화 능력을 입증했다.
• Lasso 기반의 이웃 가중치 부여 메커니즘이 과적합을 효과적으로 줄였음을 다수의 실행 및 고정된 분할에서의 안정된 성능으로 입증되었다.
• 모델의 성능는 다양한 데이터셋에서 뛰어난 안정성과 일반화 능력을 보이며, 특성 인식 기반의 고계 이웃 가중 집합이 효과적임을 시사한다.
• HWGCN는 기존 GCN 모델에 적용 가능한 일반적이고 플러그인 방식의 성능 향상 기법을 제공하며 아키텍처 수정 없이도 성능 향상을 이룬다.