[논문 리뷰] Self-Enhanced GNN: Improving Graph Neural Networks Using Model Outputs

Han Yang, Yan Xiao외 3명|arXiv (Cornell University)|2020. 02. 18.

Advanced Graph Neural Networks참고 문헌 41인용 수 8

한 줄 요약

이 논문은 사전 훈련된 GNN 모델의 출력을 사용하여 입력 데이터를 개선함으로써 그래프 신경망 성능을 향상시키는 일반적인 프레임워크인 Self-Enhanced GNN( SEG )을 제안한다. 상호 클래스 간 간선을 줄이기 위한 토폴로지 업데이트와, 가짜 레이블을 사용해 레이블이 지정된 훈련 세트를 확장하는 훈련 노드 증강 기법을 도입하여, 기준 데이터셋에서 GCN, GAT, SGC에 대해 평균 16.2%의 오차 감소를 달성한다.

ABSTRACT

Graph neural networks (GNNs) have received much attention recently because of their excellent performance on graph-based tasks. However, existing research on GNNs focuses on designing more effective models without considering much about the quality of the input data. In this paper, we propose self-enhanced GNN (SEG), which improves the quality of the input data using the outputs of existing GNN models for better performance on semi-supervised node classification. As graph data consist of both topology and node labels, we improve input data quality from both perspectives. For topology, we observe that higher classification accuracy can be achieved when the ratio of inter-class edges (connecting nodes from different classes) is low and propose topology update to remove inter-class edges and add intra-class edges. For node labels, we propose training node augmentation, which enlarges the training set using the labels predicted by existing GNN models. SEG is a general framework that can be easily combined with existing GNN models. Experimental results validate that SEG consistently improves the performance of well-known GNN models such as GCN, GAT and SGC across different datasets.

연구 동기 및 목표

• 모델 성공에 결정적인 역할을 하면서도 간과되기 쉬운 입력 데이터 품질 향상으로 그래프 신경망 성능을 향상시키기 위해.
• 특히 상호 클래스 간 간선과 제한된 레이블이 지정된 데이터로 인해 반감독 학습에서의 노드 분류 성능이 저하되는 문제를 해결하기 위해.
• 기존 GNN 모델의 출력을 활용해 반복적으로 데이터 품질을 향상시켜 더 나은 최종 성능을 달성할 수 있는 일반화 가능한 프레임워크를 개발하기 위해.
• 모델 예측을 활용해 그래프 토폴로지와 훈련 세트 레이블을 동시에 업데이트함으로써 GNN의 상호 훈련과 자기 훈련을 가능하게 하기 위해.
• 다양한 GNN 아키텍처와 실세계 데이터셋에 대해 작동하는 기법들을 설계하여 안정성과 확장성을 확보하기 위해.

제안 방법

• 사전 훈련된 GNN에서 예측한 노드 레이블을 기반으로 상호 클래스 간 간선을 제거하고 내부 클래스 간 간선을 추가함으로써 그래프의 노이즈 비율을 줄이는 토폴로지 업데이트(TU)를 제안한다.
• 다양한 GNN 모델들이 예측한 고신뢰도 가짜 레이블을 가진 노드를 추가하여 훈련 세트를 확장하는 훈련 노드 증강(TNA)을 구현한다.
• 다양한 GNN 모델들의 앙상블 예측을 통해 가짜 레이블 노드의 레이블 신뢰도를 높이고 오차를 줄인다.
• 품질 제어를 위해 신뢰도 임계값(τc)을 도입하여, 오직 고신뢰도 예측만 훈련 세트에 포함되도록 한다.
• 증강된 훈련 세트에서 우세한 클래스에 대한 모델 편향을 방지하기 위해 TNA에서 클래스 균형을 도입한다.
• 모듈러리티와 기존 GNN 모델과의 호환성을 확보하여, 어떤 기존 GNN 모델에도 쉽게 통합되어 성능 향상을 이룰 수 있도록 SEG 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 GNN 모델의 출력을 활용해 노드 분류 성능 향상을 위한 입력 데이터 품질을 향상시킬 수 있는가?
• RQ2 토폴로지 업데이트를 통해 상호 클래스 간 간선 비율을 줄이면 반감독 학습에서의 분류 정확도가 향상되는가?
• RQ3 다양한 GNN 모델들이 예측한 가짜 레이블을 사용한 훈련 노드 증강이 모델 일반화 능력 향상과 오차 감소에 어느 정도 기여하는가?
• RQ4 가짜 레이블 예측에 사용된 GNN 모델들의 다양성이 증강된 훈련 세트의 신뢰도에 어떤 영향을 미치는가?
• RQ5 제안된 자기 향상 프레임워크는 아키텍처 수정 없이 다양한 GNN 아키텍처에 일반적으로 적용될 수 있는가?

주요 결과

• SEG는 일곱 개인 기준 데이터셋에서 GCN, GAT, SGC의 성능을 일관되게 향상시켜 평균 16.2%의 분류 오차 감소를 달성한다.
• CORA 데이터셋에서 토폴로지 업데이트를 통해 상호 클래스 간 간선의 82.6%를 제거하고 내부 클래스 간 간선의 76.4%를 추가하여 노이즈 비율을 성공적으로 감소시켰다.
• 훈련 노드 증강을 통해 GCN을 사용할 경우 826개의 노드가 추가되었고 오차율은 10.05%에 불과했으며, SGC는 637개의 노드를 추가하여 오차율 7.06%로 가장 낮은 오차율을 기록했다.
• 두 개의 서로 다른 GNN 모델을 사용한 가짜 레이블 예측이 정확도 향상과 오차 통제 사이의 최적의 균형을 이끌었으며, 이 이상의 모델을 사용할 경우 수익 감소 현상이 나타났다.
• TNA에서의 클래스 균형 기법이 모델 성능을 크게 향상시켰으며, 증강된 세트에서의 클래스 불균형을 방지함으로써 Amazon Photo 데이터셋에서 정확도를 86.6%에서 89.5%로 상승시켰다.
• CiteSeer 데이터셋에서 확보한 최대 오차 감소율은 35.1%였으며, 이는 더 작은, 더 도전적인 데이터셋에 프레임워크가 미치는 강력한 영향을 보여준다.