[논문 리뷰] NOSMOG: Learning Noise-robust and Structure-aware MLPs on Graphs

Yijun Tian, Chuxu Zhang외 3명|arXiv (Cornell University)|2022. 08. 22.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

NOSMOG는 노드 위치 특징, GNN에서의 표현 유사도 정규화, 그리고 적대적 특징 증강을 통합하여 노이즈에 강인하고 구조 인식 가능한 MLP 프레임워크를 제안한다. 이는 일곱 개의 데이터셋에서 최신 기술 수준의 성능을 달성하며, GNN보다 평균 2.05% 높고, GNN보다 833배 빠른 추론 속도를 기록한다.

ABSTRACT

While Graph Neural Networks (GNNs) have demonstrated their efficacy in dealing with non-Euclidean structural data, they are difficult to be deployed in real applications due to the scalability constraint imposed by multi-hop data dependency. Existing methods attempt to address this scalability issue by training multi-layer perceptrons (MLPs) exclusively on node content features using labels derived from trained GNNs. Even though the performance of MLPs can be significantly improved, two issues prevent MLPs from outperforming GNNs and being used in practice: the ignorance of graph structural information and the sensitivity to node feature noises. In this paper, we propose to learn NOise-robust Structure-aware MLPs On Graphs (NOSMOG) to overcome the challenges. Specifically, we first complement node content with position features to help MLPs capture graph structural information. We then design a novel representational similarity distillation strategy to inject structural node similarities into MLPs. Finally, we introduce the adversarial feature augmentation to ensure stable learning against feature noises and further improve performance. Extensive experiments demonstrate that NOSMOG outperforms GNNs and the state-of-the-art method in both transductive and inductive settings across seven datasets, while maintaining a competitive inference efficiency. Codes are available at https://github.com/meettyj/NOSMOG.

연구 동기 및 목표

• 기존의 GNN-MLP 정규화 프레임워크가 그래프 구조 정보를 忽시하고 노드 특징 노이즈에 민감한 점을 해결하기 위해.
• 노드 콘텐츠와 구조적 위치 정보를 모두 포착하는 MLP 기반 모델을 개발하여 일반화 성능을 향상시키기 위해.
• 높은 추론 효율성을 유지하면서도 특징 노이즈에 대한 강인성을 향상시키기 위해.
• 이행적 및 비이행적 학습 환경에서 모두 GNN과 최신 기술 수준의 MLP 기반 방법을 능가하기 위해.

제안 방법

• 노드 구조 정보를 인코딩하기 위해, 노드 콘텐츠 특징과 함께 노드 위치 특징(예: 라플라시안 은자매 또는 무작위 보행에서 유도된 것)을 MLP의 입력으로 통합한다.
• GNN의 히든 레이어 표현을 통해 GNN의 노드 유사도 패턴을 MLP로 전이하는 표현 유사도 정규화 전략을 제안한다.
• 지표 supervision과 유사도 정규화를 결합한 다목적 손실 함수를 설계하여, MLP 예측이 GNN 출력과 구조적 유사성에 잘 맞도록 한다.
• 노이즈에 강인하고 일반화 성능을 향상시키기 위해 훈련 중에 적대적 특징 증강을 적용한다.
• 두 단계 훈련 프로세스를 사용한다: 먼저 GNN을 미리 훈련하여 소프트 라벨과 노드 유사도를 생성하고, 그 다음 정규화와 적대적 증강을 통해 MLP를 미세 조정한다.
• 모델 예측이 그래프 토폴로지와 얼마나 잘 일치하는지 평가하기 위해 일致성 측도(Cut 값)를 활용하여 구조 인식 능력을 검증한다.

실험 결과

연구 질문

• RQ1 GNN에서의 지식 정규화를 통해 훈련된 MLP가, 구조 인식과 노이즈 강인성을 확보한다면, 추론 속도가 매우 빠르면서도 GNN 수준의 성능을 달성할 수 있는가?
• RQ2 노드 콘텐츠 특징만을 사용하는 MLP에 어떻게 효과적으로 그래프 구조 정보를 통합할 수 있는가?
• RQ3 노드 위치 특징을 통합하면 MLP가 그래프의 토폴로지 패턴을 더 잘 포착할 수 있는가?
• RQ4 GNN에서의 표현 유사도 정규화는 출력 로짓을 그대로 모방하는 것 이상으로 MLP의 일반화 능력을 향상시킬 수 있는가?
• RQ5 적대적 특징 증강은 그래프 기반 MLP의 노드 특징 노이즈에 대한 강인성을 어떻게 향상시키는가?

주요 결과

• NOSMOG는 이행적 및 비이행적 환경에서 일곱 개의 데이터셋 전반에 걸쳐 GNN보다 평균 2.05% 높은 성능을 기록한다.
• NOSMOG는 최신 기술 수준의 방법인 GLNN보다 평균 6.63% 높은 성능을 기록하여, 더 뛰어난 성능과 강인성을 입증한다.
• NOSMOG는 평균 컷 값(Cut value)이 0.9348로, GNN(0.9276), MLP(0.7572), GLNN(0.8725)보다 유의미하게 높아, 그래프 토폴로지와의 높은 일치도를 보여준다.
• 동일한 레이어 수를 가진 GNN보다 NOSMOG는 833배 더 빠른 추론 속도를 기록하면서도 경쟁 가능한 효율성을 유지한다.
• 제거 실험 결과, 위치 특징, 유사도 정규화, 적대적 증강의 세 가지 구성 요소가 성능 향상에 필수적임을 확인한다.
• 노이즈 강인성 분석 결과, NOSMOG는 특징 노이즈 상황에서도 높은 성능을 유지하며, 적대적 훈련을 통한 노이즈 내성 능력을 확인한다.