[논문 리뷰] Semi-Supervised Node Classification by Graph Convolutional Networks and Extracted Side Information

Mohammad Esmaeili, Aria Nosratinia|arXiv (Cornell University)|2020. 09. 29.

Advanced Graph Neural Networks참고 문헌 28인용 수 9

한 줄 요약

이 논문은 고정된 거리 내 공통 이웃을 기반으로 추출한 구조적 보조 정보를 GCN 프레임워크에 통합함으로써 준감독 노드 분류 성능을 햖थ한 새로운 그래프 컬러션 네트워크 아키텍처인 GCN-SI를 제안한다. 이 방법은 Cora(84.7%), Citeseer(74.8%), PubMed(81.0%) 데이터셋에서 기존의 GCN, GAT, DGCN 등의 방법들을 능가하는 최신 기술 수준(SOTA)의 정확도를 달성한다. 이는 그래프 구조와 추론된 노드 관계를 모두 활용함으로써 달성된다.

ABSTRACT

The nodes of a graph existing in a cluster are more likely to connect to each other than with other nodes in the graph. Then revealing some information about some nodes, the structure of the graph (graph edges) provides this opportunity to know more information about other nodes. From this perspective, this paper revisits the node classification task in a semi-supervised scenario by graph convolutional networks (GCNs). The goal is to benefit from the flow of information that circulates around the revealed node labels. The contribution of this paper is twofold. First, this paper provides a method for extracting side information from a graph realization. Then a new GCN architecture is presented that combines the output of traditional GCN and the extracted side information. Another contribution of this paper is relevant to non-graph observations (independent side information) that exists beside a graph realization in many applications. Indeed, the extracted side information can be replaced by a sequence of side information that is independent of the graph structure. For both cases, the experiments on synthetic and real-world datasets demonstrate that the proposed model achieves a higher prediction accuracy in comparison to the existing state-of-the-art methods for the node classification task.

연구 동기 및 목표

• 표준 노드 특성 외에 그래프 데이터의 구조적 패턴을 활용하여 준감독 노드 분류 정확도를 향상시키는 것.
• 고정된 거리 내 공통 이웃 근접도 기반으로 그래프 구조에서 의미 있는 보조 정보를 추출하는 방법을 개발하는 것.
• 추출된 또는 독립적인 비그래프 보조 정보를 GCN에 통합하여 레이블 예측 성능을 향상시키는 것.
• 예측된 레이블과 구조적 보조 정보를 GCN 프레임워크 내에서 융합함으로써 효과성을 입증하는 것.
• 보조 정보의 품질(예: 노이즈가 있거나 합성된 입력)이 다양할 경우 모델의 강인성과 성능을 평가하는 것.

제안 방법

• 노드 쌍 간에 고정된 거리(k-hop) 내 공통 이웃의 수를 계산하여 보조 정보를 추출하고, 구조적 유사성 행렬을 구성한다.
• 지정된 힙 거리까지의 공통 이웃 수를 사용하여 보조 정보 행렬을 구성함으로써 국소 그래프 구조를 포괄한다.
• 보조 정보 행렬을 원본 노드 특성 행렬과 결합하여 GCN에 대한 확장된 입력을 형성한다.
• 이행적 설정 하에서 레이블이 부여된 노드에 대한 교차 엔트로피 손실을 사용하여 통합 입력(원본 특성 + 보조 정보)에 대해 GCN을 훈련시킨다.
• 그래프 컬러션 계층과 보조 정보 통합 모듈을 동시에 최적화할 수 있도록 모델을 설계한다.
• 기본 준감독 노드 분류 프로토콜을 기반으로 실제 세계 데이터셋(Cora, Citeseer, PubMed)과 합성 데이터셋(k-SBM)에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 그래프 구조에서 유도된 구조적 보조 정보가 준감독 설정에서 노드 분류 정확도를 향상시킬 수 있는가?
• RQ2 기본 GCN과 비교했을 때, 추출된 보조 정보를 통합하는 것이 벤치마크 데이터셋에서 GCN 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 그래프 구조와 관련이 없는 독립적인 비그래프 보조 정보를 효과적으로 활용할 수 있는가?
• RQ4 보조 정보의 품질(예: 노이즈가 있거나 합성된 정보)이 최종 예측 정확도에 어떤 영향을 미치는가?
• RQ5 보조 정보를 통해 예측된 레이블을 통합함으로써 표준 GCN보다 더 우수한 일반화 성능을 달성할 수 있는가?

주요 결과

• Cora 데이터셋에서 GCN-SI는 84.7%의 정확도를 기록하여 표준 GCN(81.5%)과 DGCN(83.5%), TAGCN(83.3%)과 같은 다른 SOTA 방법들을 능가한다.
• Citeseer에서 GCN-SI는 74.8%의 정확도를 달성하여 GCN(70.3%)과 GAT(72.5%)를 초월하며, 모든 데이터셋에서 일관된 향상 효과를 보였다.
• PubMed에서 GCN-SI는 81.0%의 정확도를 기록하여 이전 SOTA 방법인 DGCN(80.0%)과 GCN(79.0%)을 모두 능가한다.
• 추출된 보조 정보의 정확도는 Cora에서 약 63%, Citeseer에서 52%, PubMed에서 51%로 평가되어 의미 있는 구조적 패턴이 포착되었음을 시사한다.
• 노이즈가 있는 합성 보조 정보와 결합했을 때, 특히 보조 정보 품질이 중간 이상일 경우 표준 GCN보다 높은 정확도를 유지한다.
• 모든 데이터셋에서 테스트 및 검증 정확도가 유의미하고 일관되게 향상되었으며, 그 결과는 그림 3~6에서 확인할 수 있다.