[논문 리뷰] Every Node Counts: Self-Ensembling Graph Convolutional Networks for Semi-Supervised Learning

Yawei Luo, Tao Guan외 3명|arXiv (Cornell University)|2018. 09. 26.

Advanced Graph Neural Networks참고 문헌 31인용 수 6

한 줄 요약

이 논문은 자기-앙상블 GCN (SEGCN)을 제안하며, 그래프 컬러레이션 네트워크(GCNs)에 평균 교사 학습 프레임워크를 통합하여 레이블이 없는 노드를 상호 일관성 있는 학생-교사 모델 간의 상호 작용을 통해 활용함으로써 노드 분류 성능을 향상시키는 새로운 준지도 학습 프레임워크이다. SEGCN은 자기-앙상블과 편향 기반 일관성 학습을 통해 레이블이 있는 노드와 멀리 떨어진 레이블이 없는 노드로부터도 효과적인 기울기 전파를 가능하게 하여, 특히 낮은 레이블 비율 설정에서 저명한 성능을 기록한다. 이는 저명한 인용 네트워크(Cora, Citeseer, PubMed)에서 최신 기술 수준을 달성한다.

ABSTRACT

Graph convolutional network (GCN) provides a powerful means for graph-based semi-supervised tasks. However, as a localized first-order approximation of spectral graph convolution, the classic GCN can not take full advantage of unlabeled data, especially when the unlabeled node is far from labeled ones. To capitalize on the information from unlabeled nodes to boost the training for GCN, we propose a novel framework named Self-Ensembling GCN (SEGCN), which marries GCN with Mean Teacher - another powerful model in semi-supervised learning. SEGCN contains a student model and a teacher model. As a student, it not only learns to correctly classify the labeled nodes, but also tries to be consistent with the teacher on unlabeled nodes in more challenging situations, such as a high dropout rate and graph collapse. As a teacher, it averages the student model weights and generates more accurate predictions to lead the student. In such a mutual-promoting process, both labeled and unlabeled samples can be fully utilized for backpropagating effective gradients to train GCN. In three article classification tasks, i.e. Citeseer, Cora and Pubmed, we validate that the proposed method matches the state of the arts in the classification accuracy.

연구 동기 및 목표

• GCN의 수용력이 제한된 수신 영역으로 인해 레이블이 있는 노드에서 멀리 떨어진 레이블이 없는 노드를 효과적으로 활용하지 못하는 문제를 해결하기 위해.
• 상호 학습을 통해 레이블이 없는 노드가 학습에 기여하도록 하여 준지도 학습 노드 분류 성능을 향상시키기 위해.
• 기본 GCN에서 원거리 노드로의 기울기 전파가 열악한 문제를 해결하기 위해, 편향된 학생 모델과 정제된 교사 예측을 결합한 자기-앙상블 메커니즘을 도입하기 위해.
• 학생-교사 모델 간의 상호 학습이 낮은 레이블 비율 설정에서 특히 안정성과 분산 감소를 유도할 수 있음을 검증하기 위해.

제안 방법

• SEGCN는 학생-교사 프레임워크를 사용하며, 학생 모델은 데이터 편향(특성 및 인접성 마스킹) 하에 훈련되고, 교사 모델은 학생의 가중치를 천천히 평균화한 버전을 사용한다.
• 학생 모델은 이중 손실을 통해 훈련되며, 레이블이 있는 노드에 대한 지도형 교차 엔트로피 손실과, 레이블이 없는 노드에서 학생 예측과 교사 예측 간의 일관성 손실을 강제로 적용한다.
• 편향은 특성 마스킹(P_f)과 인접성 마스킹(P_A)을 통해 적용되며, 이는 일관성 목표의 난이도를 높이고 일반화 능력을 향상시킨다.
• 교사 모델은 학생의 가중치에 대한 지수 이동 평균(EMA)을 통해 업데이트되어, 자기 훈련을 위한 안정적이고 정확한 예측을 보장한다.
• 이 프레임워크는 레이블이 있는 노드뿐 아니라 원거리 레이블이 없는 노드로부터도 효과적인 역전파를 가능하게 하여 전체 그래프에 걸쳐 특징 표현 학습을 향상시킨다.
• 이 방법은 인용 네트워크(Cora, Citeseer, PubMed)에 종단 간(end-to-end)으로 적용되며, 추론 실험을 통해 각 구성 요소의 기여도를 확인한다.

실험 결과

연구 질문

• RQ1 학생-교사 모델 간의 상호 학습이 K-호프 이웃 영역을 넘어서 레이블이 없는 노드의 정보를 활용하여 GCN 성능을 향상시킬 수 있는가?
• RQ2 P_A와 P_f를 통한 편향 기반 일관성 학습이 낮은 레이블 비율 환경에서 모델의 일반화 능력과 내구성에 어떤 영향을 미치는가?
• RQ3 자기-앙상블 메커니즘이 랜덤 데이터 분할 상황에서 준지도 학습 노드 분류의 분산을 줄이고 안정성을 향상시키는가?
• RQ4 표준 GCN에 비해 EMA 기반 교사 모델이 예측 일관성과 일반화 능력을 얼마나 향상시키는가?
• RQ5 SEGCN은 최소한의 레이블 데이터로 인용 네트워크 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• SEGCN는 각 클래스당 뿐만 아니라 200개의 레이블된 샘플만을 사용하여 PubMed에서 84.7%의 정확도를 기록하며, GCN, DCNN, N-GCN와 같은 이전 방법들을 능가한다.
• Cora에서 SEGCN는 두 가지 편향과 자기 훈련을 결합한 추론 실험에서 83.5%의 정확도를 달성하여 구성 요소 간의 상호 보완 효과를 입증한다.
• 특히 레이블 데이터가 부족한 상황에서 랜덤 분할에 따른 성능의 분산을 크게 줄여, 훈련 안정성이 향상됨을 나타낸다.
• t-SNE 시각화 결과, SEGCN는 특히 레이블 클러스터에서 멀리 떨어진 원거리 노드에 대해 더 분류 능력이 뛰어나고 조밀한 특징 표현을 학습함을 확인한다.
• 추론 실험 결과, 특성 마스킹(P_f)과 인접성 마스킹(P_A) 모두 무작위 제거보다 정확도 향상에 기여하며, 특히 P_A가 더 효과적임을 보였다.
• 교사 모델을 통한 자기 훈련은 단일 모델 훈련에 비해 상당한 성능 향상을 이끌어내어 상호 학습 메커니즘의 효과성을 입증한다.