[논문 리뷰] Label Aware Graph Convolutional Network -- Not All Edges Deserve Your Attention

Hao Chen, Lu Wang외 4명|arXiv (Cornell University)|2019. 07. 10.

Advanced Graph Neural Networks참고 문헌 20인용 수 7

한 줄 요약

이 논문은 그래프 컨볼루션에 엣지 레이블 예측을 통합함으로써 이웃 영향을 긍정적과 부정적으로 구분하는 새로운 GCN 프레임워크인 Label-aware Graph Convolutional Network (LAGCN)을 제안한다. LAGCN은 어떤 엣지가 노드 표현을 향상시키는지 또는 악화시키는지 학습함으로써, 다양한 데이터셋에서 그래프 분류 성능을 향상시키며, 이론적 보장과 함께 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph classification is practically important in many domains. To solve this problem, one usually calculates a low-dimensional representation for each node in the graph with supervised or unsupervised approaches. Most existing approaches consider all the edges between nodes while overlooking whether the edge will brings positive or negative influence to the node representation learning. In many real-world applications, however, some connections among the nodes can be noisy for graph convolution, and not all the edges deserve your attention. In this work, we distinguish the positive and negative impacts of the neighbors to the node in graph node classification, and propose to enhance the graph convolutional network by considering the labels between the neighbor edges. We present a novel GCN framework, called Label-aware Graph Convolutional Network (LAGCN), which incorporates the supervised and unsupervised learning by introducing the edge label predictor. As a general model, LAGCN can be easily adapted in various previous GCN and enhance their performance with some theoretical guarantees. Experimental results on multiple real-world datasets show that LAGCN is competitive against various state-of-the-art methods in graph classification.

연구 동기 및 목표

• 기존 GCN가 노드 표현에 대한 영향에 관계없이 모든 엣지를 동일하게 취급하는 한계를 해결한다.
• 그래프 컨볼루션 연산에서 잡음이 있거나 관련성이 없는 엣지의 부정적 영향을 식별하고 완화한다.
• 메시지 전파를 안내하기 위해 엣지 레이블 예측기를 도입함으로써 감독 학습과 비감독 학습을 통합한다.
• 기존 GCN 모델의 성능을 향상시키며 이론적 근거를 제공하는 일반화 가능한 GCN 프레임워크를 개발한다.
• 레이블 기반 엣지 관련성에 기반해 정보성 이웃 연결에만 집중함으로써 그래프 분류 정확도를 향상시킨다.

제안 방법

• 이웃 엣지의 관련성을 평가하기 위해 엣지 레이블 예측기를 통합한 새로운 GCN 아키텍처인 LAGCN을 제안한다.
• 예측된 엣지 레이블을 사용하여 그래프 컨볼루션 중 이웃 특징의 집합에 가중치를 적용함으로써 정보성 연결과 잡음 연결을 구분한다.
• 엣지 레이블이 대상 노드 표현에 대한 이웃 노드 기여도를 조절하는 메시지 전달 메커니즘을 제안한다.
• 노드 분류 손실과 엣지 레이블 예측 손실을 병합하여 모델을 엔드 투 엔드로 훈련한다.
• 이웃 간 예측 레이블 일致성에 기반해 엣지 가중치를 동적으로 조정하는 학습 가능한 어텐션 메커니즘을 도입한다.
• 이론적 수렴 보장과 함께 기존 GCN 변종과의 호환성을 확보하기 위해 LAGCN을 플러그인 모듈로 설계한다.

실험 결과

연구 질문

• RQ1 엣지 수준의 레이블 정보를 통합하면 그래프 컨볼루션 네트워크에서 노드 표현 학습이 향상되는가?
• RQ2 이웃 영향을 긍정적과 부정적으로 구분함으로써 그래프 분류 성능에 어떤 영향을 미치는가?
• RQ3 레이블 인식 엣지 예측기는 실세계 그래프에서 GCN의 강건성과 정확도를 어느 정도 향상시킬 수 있는가?
• RQ4 LAGCN은 성능 향상과 이론적 근거를 바탕으로 기존 GCN 아키텍처에 효과적으로 통합될 수 있는가?
• RQ5 제안된 방법은 표준 그래프 분류 벤치마크에서 최신 기술 수준의 GCN 모델을 초월하는가?

주요 결과

• LAGCN은 다양한 실세계 그래프 분류 데이터셋에서 최신 기술 수준의 방법들과 경쟁 가능한 성능을 달성한다.
• 엣지 레이블 예측의 통합은 잡음이 있거나 관련성이 없는 연결을 걸러내어 노드 표현 학습을 크게 향상시킨다.
• 다양한 그래프 구조에서 일관된 성능 향상을 보이며, 다양한 데이터 분포에 대한 강건성을 시사한다.
• 이론적 분석을 통해 메시지 전달에서 제안된 엣지 가중치 기법의 수렴성과 효과성을 뒷받침한다.
• 실험 결과, 특히 잡음이 많은 그래프 환경에서 LAGCN이 베이스라인 GCN 및 기타 최신 기술 수준 모델보다 분류 정확도에서 뛰어난 성능을 보인다.
• 엣지 레이블 예측기는 유해한 연결을 효과적으로 식별하고 가중치를 낮춰 더 구분력 있는 노드 임베딩을 도출한다.