[논문 리뷰] T2-GNN: Graph Neural Networks for Graphs with Incomplete Features and Structure via Teacher-Student Distillation

Cuiying Huo, Di Jin외 4명|arXiv (Cornell University)|2022. 12. 24.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 완전하지 않은 특징과 구조를 가진 그래프에서 그래프 신경망(GNNs)의 성능을 향상시키기 위해 별도의 특징 및 구조 교사 모델을 훈련시켜 학생 GNN을 이중 정규화를 통해 안내하는 테이처-스터디 정규화 프레임워크인 T2-GNN을 제안한다. 이 방법은 다양한 데이터셋에서 마스킹 비율이 다양할 때 GCN 대비 평균 8.69% 향상을 기록하며, 부족한 특징과 구조 간 상호 간섭을 효과적으로 다루는 데 있어 뛰어난 강건성과 효과성을 입증한다.

ABSTRACT

Graph Neural Networks (GNNs) have been a prevailing technique for tackling various analysis tasks on graph data. A key premise for the remarkable performance of GNNs relies on complete and trustworthy initial graph descriptions (i.e., node features and graph structure), which is often not satisfied since real-world graphs are often incomplete due to various unavoidable factors. In particular, GNNs face greater challenges when both node features and graph structure are incomplete at the same time. The existing methods either focus on feature completion or structure completion. They usually rely on the matching relationship between features and structure, or employ joint learning of node representation and feature (or structure) completion in the hope of achieving mutual benefit. However, recent studies confirm that the mutual interference between features and structure leads to the degradation of GNN performance. When both features and structure are incomplete, the mismatch between features and structure caused by the missing randomness exacerbates the interference between the two, which may trigger incorrect completions that negatively affect node representation. To this end, in this paper we propose a general GNN framework based on teacher-student distillation to improve the performance of GNNs on incomplete graphs, namely T2-GNN. To avoid the interference between features and structure, we separately design feature-level and structure-level teacher models to provide targeted guidance for student model (base GNNs, such as GCN) through distillation. Then we design two personalized methods to obtain well-trained feature and structure teachers. To ensure that the knowledge of the teacher model is comprehensively and effectively distilled to the student model, we further propose a dual distillation mode to enable the student to acquire as much expert knowledge as possible.

연구 동기 및 목표

• 부족한 데이터로 인해 노드 특징과 그래프 구조가 모두 완전하지 않은 상황에서 GNN의 성능 저하 문제를 해결한다.
• 기존의 통합 복원 방법에서 나타나는 부족한 특징과 구조 간 상호 간섭을 극복한다.
• 에러 전파를 방지하기 위해 지식 정규화를 활용해 특징과 구조 복원을 분리하는 일반화 가능한 GNN 프레임워크를 개발한다.
• 학습된 로짓과 중간 표현 수준에서의 이중 정규화를 통해 전문 교사 모델에서 학생 모델로의 종합적이고 효과적인 지식 전이를 보장한다.
• 다양한 실제 그래프에서 특징과 구조의 완전성 수준이 상이한 상황에서도 강건성과 효과성을 입증한다.

제안 방법

• 마스크된 노드 특징에 대해 훈련된 특징 기반 교사 모델과 재구성된 그래프 구조에 대해 훈련된 구조 기반 교사 모델을 별도로 설계하여 타겟팅된 안내를 제공한다.
• PPR 기반의 이웃 선택과 자기지도 대비 학습을 활용한 개인화된 방법을 사용해 특징 및 구조 교사 모델을 훈련시켜 강건성을 향상시킨다.
• 로짓 정규화와 중간 표현 정규화를 통해 두 교사 모델의 지식을 학생 GNN으로 전이하는 이중 정규화 메커니즘을 구현한다.
• 데이터 신뢰도에 따라 지도 지침의 가중치를 적응적으로 조정하기 위해 학습 가능한 하이퍼파ram터 λ를 사용해 정규화 손실을 균형 잡는다.
• 부정 레이블에 대한 주의를 조절하기 위해 정규화 손실에 온도 파ram터 ρ를 사용하며, 작은 ρ 값이 노이즈 민감도를 감소시켜 성능 향상을 이룬다.
• 기본 GNN(예: GCN)을 학생 모델로 적용하여 기존 아키텍처와 인덕티브 바이어스를 유지하면서 종단 간 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 지식 정규화가 GNN에서 부족한 특징과 구조 간 상호 간섭을 효과적으로 완화할 수 있는가?
• RQ2 별도의 교사 모델을 통해 특징과 구조 복원을 분리하면 통합 학습 방법에 비해 성능 향상이 이루어지는가?
• RQ3 로짓과 중간 레이어에서의 이중 정규화는 단일 모드 정규화에 비해 지식 전이를 어떻게 향상시키는가?
• RQ4 상위-k 이웃, 정규화 온도 ρ, 균형 가중치 λ와 같은 하이퍼파ram터의 영향은 모델의 강건성에 어떤가?
• RQ5 T2-GNN은 특징과 구조의 완전성 수준이 다양한 실제 그래프에 대해 얼마나 일반화되는가?

주요 결과

• T2-GNN는 다양한 마스킹 비율에서 8개의 벤치마크 데이터셋에서 GCN 대비 평균 8.69% 향상을 기록했으며, 성능 향상률은 8.01%에서 9.43%까지 다양하다.
• 제거 실험 결과 특징 교사와 구조 교사 모두 필수적임을 확인했으며, w/o_Teacher_str 및 w/o_Teacher_fea는 데이터셋에 따라 성능이 불일치함을 보여, 적응형 가중치 조정의 필요성을 강조한다.
• 로짓과 중간 표현 수준에서의 이중 정규화는 단일 모드 정규화보다 항상 뛰어난 성능을 보이며, 종합적인 지식 전이가 학생 모델 성능 향상에 기여함을 입증한다.
• 최적의 λ 값(균형 파ram터)은 데이터셋에 따라 달라지며, Wisconsin에서는 λ = 0.8, Squirrel에서는 λ = 0.4로 나타나 특징과 구조의 완전성 수준이 서로 다른 그래프에서 신뢰도 수준이 다름을 시사한다.
• 정규화 온도 ρ는 상대적으로 민감도가 낮으며, 작은 값(1–2)이 略로 더 좋은 성능을 내어 부정 레이블에서 오는 노이즈를 최소화함으로써 강건성을 향상시킨다.
• 파라미터 민감도 분석 결과 상위-k 이웃 선택(k)은 최적 범위를 가지며, 너무 적거나 너무 많은 이웃은 성능 저하를 유도함을 보여, 정보의 풍부성와 노이즈 사이의 트레이드오���이 존재함을 시사한다.