[논문 리뷰] Empowering Graph Representation Learning with Test-Time Graph Transformation

Wei Jin, Tong Zhao외 4명|arXiv (Cornell University)|2022. 10. 07.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

이 논문은 대체로 테스트 시점에 노드 특징과 그래프 구조를 동시에 최적화하여 대조적 보조 손실을 사용해 그래프 신경망(GNN)의 일반화 능력과 강건성을 향상시키는 데이터 중심 프레임워크인 GTrans를 제안한다. GTrans는 분포 이탈, 비정상적 특징, 대비 공격과 같은 세 가지 과도한 시나리오에서 최신 기술 성능을 달성하며, 기준 모델 대비 최대 8.2% 향상된 성능을 기록했고, 재학습 없이 사전 훈련된 모델을 유지한다.

ABSTRACT

As powerful tools for representation learning on graphs, graph neural networks (GNNs) have facilitated various applications from drug discovery to recommender systems. Nevertheless, the effectiveness of GNNs is immensely challenged by issues related to data quality, such as distribution shift, abnormal features and adversarial attacks. Recent efforts have been made on tackling these issues from a modeling perspective which requires additional cost of changing model architectures or re-training model parameters. In this work, we provide a data-centric view to tackle these issues and propose a graph transformation framework named GTrans which adapts and refines graph data at test time to achieve better performance. We provide theoretical analysis on the design of the framework and discuss why adapting graph data works better than adapting the model. Extensive experiments have demonstrated the effectiveness of GTrans on three distinct scenarios for eight benchmark datasets where suboptimal data is presented. Remarkably, GTrans performs the best in most cases with improvements up to 2.8%, 8.2% and 3.8% over the best baselines on three experimental settings. Code is released at https://github.com/ChandlerBang/GTrans.

연구 동기 및 목표

• 분포 이탈, 비정상적 특징, 대비 공격 등의 낮은 품질의 데이터 하에서 GNN의 한계를 해결하기 위해.
• 사전 훈련된 모델을 수정하거나 재학습하지 않고도 GNN의 일반화 능력과 강건성을 향상시키는 방법을 개발하기 위해.
• 대규모 모델에 대해 비용이 많이 들거나 비현실적인 모델 중심 접근 방식에 대한 데이터 중심 대안을 제공하기 위해.
• 추론 중에 동적으로 그래프 데이터를 적응시키는 테스트 시점 그래프 변환 프레임워크를 설계하기 위해.
• GNN에서 모델 적응보다 데이터 적응이 더 타당한 이론적 근거를 확립하기 위해.

제안 방법

• GTrans는 노드 특징과 그래프 구조에 대한 편향 주입으로서 그래프 변환을 모델링하며, 경사 하강법을 통해 최적화한다.
• 대개미 없는 보조 손실을 기반으로 한 대조적 학습을 활용해 특징과 인접 행렬의 편향을 동시에 최적화한다.
• 보조 손실은 테스트 그래프의 원본 및 증강된 뷰 간의 특징 일관성을 극대화하도록 설계되었으며, DropEdge와 같은 데이터 증강 기법을 사용한다.
• 성능 향상을 보장하기 위해 변환 과정을 안내하기 위해 기울기 상관 분석을 활용한다.
• 사전 훈련된 GNN을 고정한 채로 엔드 투 엔드의 그래프 개선을 가능하게 하는 미분 가능한 최적화 과정을 사용한다.
• 이 방법은 탄력적이고 이식 가능하며, 어떤 사전 훈련된 GNN과도 호환되며 다양한 구현 환경에 적합하다.

실험 결과

연구 질문

• RQ1 테스트 시점 그래프 변환이 분포 이탈과 같은 데이터 품질 문제 상황에서 GNN 성능을 향상시킬 수 있는가?
• RQ2 모델 적응과 비교해 테스트 시점 데이터 적응은 강건성과 성능 측면에서 어떻게 다른가?
• RQ3 모델 파rameter에 접근할 수 없는 상황에서 테스트 시점 그래프 정련을 이끄는 데 가장 효과적인 보조 손실 함수는 무엇인가?
• RQ4 GTrans의 성능는 편향 예산과 증강 기법 선택에 얼마나 민감한가?
• RQ5 GTrans는 어떤 그래프 수정이 모델 예측을 향상시키는지 보여주는 해석 가능성(해석 가능성)을 제공할 수 있는가?

주요 결과

• GTrans는 분포 이탈, 비정상적 특징, 대비 공격 설정에서 각각 최고의 기준 모델 대비 최대 2.8%, 8.2%, 3.8% 향상된 성능을 기록했다.
• 제안된 대조적 보조 손실은 재구성, 엔트로피, SLAPS 손실보다 뛰어나며, 이들 손실은 종종 성능을 저하시키거나 성능이 열등하다.
• GTrans는 대비 공격 상황에서 매우 효과적이며, 편향 예산 B가 0.5%에서 30%로 증가함에 따라 성능이 56.66%에서 63.47%로 향상되었다.
• 분포 이탈 및 비정상적 특징 설정에서는 예산 B에 대해 성능가 매우 민감하지 않아, 이러한 경우에 편향 크기의 강건성을 보여준다.
• 다양한 증강 기법—DropEdge, 노드 제거, 부분 그래프 샘플링—이 유사한 성능를 기록하여, 프레임워크의 유연성과 증강 기법 선택에 대한 강건성을 입증한다.
• 시각화 결과 GTrans가 해로운 그래프 패턴을 식별하고 수정함으로써, 어떤 수정이 모델 예측을 향상시키는지에 대한 이해를 제공함을 보였다.