[논문 리뷰] Graph Inference Learning for Semi-supervised Classification

Chunyan Xu, Zhen Cui외 4명|arXiv (Cornell University)|2020. 01. 17.

Advanced Graph Neural Networks참고 문헌 33인용 수 18

한 줄 요약

이 논문은 그래프 컨volution을 통해 노드 특성, 무작위 워크를 통한 노드 간 경로 접근 가능성, 국소적 위상적 구조를 통합함으로써 노드 레이블을 추론하는 새로운 프레임워크인 그래프 추론 학습(GIL)을 제안한다. 학습 노드에서 검증 노드로의 구조 관계에 대한 메타 최적화를 통해 GIL는 특히 저레이블 레이트 설정에서 최신 기술(SOTA) 성능을 달성하며, Cora에서 GCN보다 1.2% 높은 정확도를 기록하고 Pubmed, Citeseer, NELL에서도 강력한 성능을 보였다.

ABSTRACT

In this work, we address semi-supervised classification of graph data, where the categories of those unlabeled nodes are inferred from labeled nodes as well as graph structures. Recent works often solve this problem via advanced graph convolution in a conventionally supervised manner, but the performance could degrade significantly when labeled data is scarce. To this end, we propose a Graph Inference Learning (GIL) framework to boost the performance of semi-supervised node classification by learning the inference of node labels on graph topology. To bridge the connection between two nodes, we formally define a structure relation by encapsulating node attributes, between-node paths, and local topological structures together, which can make the inference conveniently deduced from one node to another node. For learning the inference process, we further introduce meta-optimization on structure relations from training nodes to validation nodes, such that the learnt graph inference capability can be better self-adapted to testing nodes. Comprehensive evaluations on four benchmark datasets (including Cora, Citeseer, Pubmed, and NELL) demonstrate the superiority of our proposed GIL when compared against state-of-the-art methods on the semi-supervised node classification task.

연구 동기 및 목표

• 레이블 데이터가 부족할 때 기존 그래프 컨볼루션 네트워크의 성능 저하 문제를 해결하기 위해.
• 모델이 단순히 지도 학습에 의존하는 것이 아니라, 그래프 위상적 구조를 기반으로 레이블을 어떻게 추론할 수 있는지 학습할 수 있는 메커니즘을 개발하기 위해.
• 학습 노드에서 검증 노드로의 이전 가능한 추론 지식을 학습하여 저샷 학습 환경에서의 일반화 능력을 향상시키기 위해.
• 노드 특성, 국소적 위상적 구조, 경로 접근 가능성 등의 다중 그래프 신호를 통합된 구조 관계로 통합하여 레이블 추론을 수행하기 위해.
• 메타 학습 전략을 통해 구조 관계 학습에 기반해 모델의 강건성과 미지의 테스트 노드에 대한 적응 능력을 향상시키기 위해.

제안 방법

• 노드 특성, 국소적 위상 일관성, 노드 간 경로 접근 가능성의 조합을 통해 유사도를 측정하는 구조 관계를 정의한다.
• 그래프 컨볼루션 네트워크(GCN)를 사용해 노드 특성과 국소적 그래프 구조에서 고수준 특징을 인코딩한다.
• 장거리 종속성을 포착하기 위해 무작위 워크 기반 확률 추정을 사용해 노드 간 경로 접근 가능성을 계산한다.
• 융합된 특징과 접근 가능성 확률을 기반으로 레이블이 지정된 기준 노드와 레이블이 없는 질의 노드 간의 유사도 점수로 구조 관계를 구성한다.
• 학습 노드에서의 구조 관계 학습을 메타 최적화로 수행하고 검증 노드에서 일반화 능력을 검증함으로써 테스트 데이터에 자가 적응할 수 있도록 한다.
• 교차 엔트로피 손실을 사용하는 분류 헤드를 통해 엔드 투 엔드 GIL 프레임워크를 훈련하고, 메타 학습을 통해 추론 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 노드 특성, 국소적 위상, 경로 접근 가능성의 통합된 프레임워크가 그래프에서의 레이블 추론 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 학습 노드에서 검증 노드로의 구조 관계에 대한 메타 최적화가 반도체 노드 분류에서 일반화 능력을 어떻게 향상시키는가?
• RQ3 Pubmed 데이터셋과 같이 레이블 비율이 낮은 조건에서 GIL는 기존 GCN 기반 방법보다 얼마나 뛰어난 성능을 보이는가?
• RQ4 노드 표현 모듈, 경로 접근 가능성 모듈, 구조 관계 모듈 각각이 전체 성능에 기여하는 정도는 어느 정도인가?
• RQ5 레이블이 극히 적은 상황에서 GIL의 추론 메커니즘이 미지의 테스트 노드로 일반화되는 데 얼마나 효과적인가?

주요 결과

• 모든 모듈(노드 표현, 경로 접근 가능성, 구조 관계)을 사용할 경우 GIL는 Cora 데이터셋에서 86.2%의 정확도를 달성하여 GCN(81.5%)보다 4.7%p 높은 성능을 기록한다.
• 구조 관계 모듈만 포함시켜도 성능이 81.5%에서 85.0%로 향상되어 추론 학습을 가능하게 하는 데 핵심적인 역할을 함을 입증한다.
• 경로 접근 가능성 정보를 추가로 통합함으로써 정확도가 1.2% 향상(85.0% → 86.2%)되어 장거리 종속성을 포착하는 데의 가치를 확인한다.
• Pubmed 데이터셋에서는 노드의 0.3%만 레이블이 지정되어 있어도 GIL는 강력한 성능을 유지하여 소수의 레이블에서의 우수성을 입증한다.
• Cora 검증 세트에서의 분류 오차는 첫 400 반복 이내에 급격히 감소하고 이후로는 점차 둔화되며, 메타 학습된 추론 메커니즘의 효과적인 지식 전이와 수렴을 나타낸다.
• GIL의 계산 비용은 표준 GCN보다 약간 높지만 효율적임—기준 데이터셋에서 추론을 몇 초 내에 완료한다.