[논문 리뷰] Cold Brew: Distilling Graph Node Representations with Incomplete or Missing Neighborhoods

Wenqing Zheng, Edward W Huang외 4명|arXiv (Cornell University)|2021. 11. 08.

Advanced Graph Neural Networks참고 문헌 51인용 수 9

한 줄 요약

Cold Brew는 구조적 임베딩을 통해 잠재적 인접성을 재발견하는 다층퍼셉트론(MLP) 학생을 훈련시어 희소하거나 누락된 이웃을 가진 노드—특히 매우 엄격한 콜드 스타트(SCS) 노드—에 대한 GNN 일반화 능력을 향상시키는 지식 정복 프레임워크를 제안한다. 이는 공개 및 기업 전자상거래 데이터셋에서 꼬리 노드 및 SCS 노드에서 최신 기술 성능을 달성하며, 제로샷 및 저접속성 환경에서 이전 방법들을 능가한다.

ABSTRACT

Graph Neural Networks (GNNs) have achieved state-of-the-art performance in node classification, regression, and recommendation tasks. GNNs work well when rich and high-quality connections are available. However, their effectiveness is often jeopardized in many real-world graphs in which node degrees have power-law distributions. The extreme case of this situation, where a node may have no neighbors, is called Strict Cold Start (SCS). SCS forces the prediction to rely completely on the node's own features. We propose Cold Brew, a teacher-student distillation approach to address the SCS and noisy-neighbor challenges for GNNs. We also introduce feature contribution ratio (FCR), a metric to quantify the behavior of inductive GNNs to solve SCS. We experimentally show that FCR disentangles the contributions of different graph data components and helps select the best architecture for SCS generalization. We further demonstrate the superior performance of Cold Brew on several public benchmark and proprietary e-commerce datasets, where many nodes have either very few or noisy connections. Our source code is available at https://github.com/amazon-research/gnn-tail-generalization.

연구 동기 및 목표

• 이름 없는 또는 이웃 연결이 희소한 노드에 대한 GNN의 일반화 능력이 열악한 문제를 해결하기 위해, 특히 간선이 전혀 없는 엄격한 콜드 스타트(SCS) 상황에서의 노드에 초점을 맞춘다.
• 고립되거나 저접속성 노드에서 교사 GNN보다 더 나은 일반화 능력을 보이는 학생 MLP를 가능하게 하는 지식 정복 프레임워크를 개발한다.
• 꼬리 노드 및 SCS 노드에 대한 유추적 표현 학습의 어려움을 새로운 지표인 기여도 비율(FCR)을 통해 정량화하여 모델 아키텍처 선택을 안내한다.
• 깊은 GNN에서의 과도한 스무딩을 해결하기 위해 노드 정체성과 연결 정보를 유지하는 구조적 임베딩(SE)을 도입한다.

제안 방법

• 교사 GNN은 각 노드의 구조적 임베딩(SE)을 강화하여, 인접 구조와는 별도로 학습되며 깊은 층에서의 과도한 스무딩을 완화한다.
• 강화된 GNN 교사에서 MLP 학생으로 지식 정복을 적용하여, 이웃 정보가 누락된 경우에도 표현을 전달한다.
• 학생 MLP는 새로운 가상 이웃 어텐션 메커니즘을 통해 발견된 잠재적 이웃을 기반으로 메시지 전파를 수행한다.
• 하류 작업에서 노드 특징과 그래프 구조의 상대적 중요도를 정량화하기 위해 새로운 지표인 기여도 비율(FCR)을 도입한다.
• 특정하게 설계된 훈련/테스트 분할(헤드, 꼬리, 고립(SCS))을 사용하여 저접속성 노드에서의 성능을 명시적으로 평가한다.
• FCR를 사용한 모델 아키텍처 선별을 통해 콜드 스타트 시나리오에서 가장 잘 일반화하는 GNN 및 MLP 모델을 선택한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 간선이 없거나 매우 적은 이웃을 가진 노드에 대해 GNN의 일반화 능력을 효과적으로 향상시킬 수 있는가? 특히 간선이 전혀 없는 엄격한 콜드 스타트(SCS) 설정에서 말이다.
• RQ2 GNN 교사에서 MLP 학생으로의 지식 정복이, 교사가 달성하는 것보다도 고립된 노드에서 일반화 능력을 향상시킬 수 있는가?
• RQ3 노드 특징과 그래프 구조가 꼬리 노드 및 SCS 노드에서 예측 성능에 기여하는 정도는 어느 정도이며, 이를 어떻게 정량화할 수 있는가?
• RQ4 구조적 임베딩(SE)이 깊은 GNN에서 과도한 스무딩을 효과적으로 완화하면서도 저접속성 노드에 대한 유추적 편향을 유지할 수 있는가?
• RQ5 데이터 기반 지표를 사용하여 콜드 스타트 일반화를 위한 모델 아키텍처 선택을 체계적으로 어떻게 안내할 수 있는가?

주요 결과

• Cold Brew의 GCN + 구조적 임베딩(GCN + SE)은 Cora의 고립 분할에서 74.23%의 정확도를 기록하여 표준 GCN(40.04%)을 크게 앞서며, 누락된 이웃에 대한 강건성을 입증했다.
• E-comm4 기업 데이터셋에서 Cold Brew의 학생 MLP는 고립 분할에서 -0.06%의 정확도를 기록했으며, 간선이 없을 경우 기준 방법들이 -6% 이하로 떨어지는 것과 비교해 우수한 성능을 보였다.
• FCR 지표는 일부 데이터셋에서 노드 특징이 예측 성능에 80% 이상 기여함을 확인하여, 낮은 구조적 의존성과 높은 유추적 편향을 나타냈다.
• 64층의 깊은 GCN에서 Cold Brew의 GCN + SE는 Arxiv 헤드 분할에서 71.35%의 정확도를 유지했고, 표준 GCN는 65.53%로 떨어지며 더 나은 안정성과 과도한 스무딩 감소를 보였다.
• 고립 분할에서 Cold Brew는 특수화된 베이스라인인 TailGCN와 Meta-Tail2Vec보다 10~15%p 높은 성능을 기록하여, 고립된 노드에 대한 제로샷 일반화에서의 우수성을 확인했다.
• 학생 MLP 모델은 표준 GCN에 비해 헤드 노드에서 성능 저하를 보였지만, 이는 Cold Brew가 특별히 어려운 콜드 스타트 및 꼬리 노드 일반화 문제를 대상으로 하므로 수용 가능한 트레이드오프이다.