[논문 리뷰] Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings

Yu Chen, Lingfei Wu외 1명|arXiv (Cornell University)|2020. 06. 21.

Advanced Graph Neural Networks참고 문헌 65인용 수 201

한 줄 요약

IDGL은 그래프 구조와 노드 임베딩을 함께 그리고 반복적으로 최적화된 다운스트림 작업을 위해 학습하며, 확장 가능한 IDGL-Anch 변형을 제공한다; 이는 적대적 그래프에 대한 강건성을 향상시키고 트랜덕티브 및 인덕티브 학습을 모두 지원한다.

ABSTRACT

In this paper, we propose an end-to-end graph learning framework, namely Iterative Deep Graph Learning (IDGL), for jointly and iteratively learning graph structure and graph embedding. The key rationale of IDGL is to learn a better graph structure based on better node embeddings, and vice versa (i.e., better node embeddings based on a better graph structure). Our iterative method dynamically stops when the learned graph structure approaches close enough to the graph optimized for the downstream prediction task. In addition, we cast the graph learning problem as a similarity metric learning problem and leverage adaptive graph regularization for controlling the quality of the learned graph. Finally, combining the anchor-based approximation technique, we further propose a scalable version of IDGL, namely IDGL-Anch, which significantly reduces the time and space complexity of IDGL without compromising the performance. Our extensive experiments on nine benchmarks show that our proposed IDGL models can consistently outperform or match the state-of-the-art baselines. Furthermore, IDGL can be more robust to adversarial graphs and cope with both transductive and inductive learning.

연구 동기 및 목표

• 소음 또는 불완전성으로 인해 다운스트림 작업에 고정 입력 그래프가 가지는 비최적화를 동기부여하고 해결한다.
• 그래프 구조와 노드 임베딩의 학습을 번갈아 수행하는 엔드-투-엔드 프레임워크를 개발하여 예측을 개선한다.
• 적응형 그래프 정규화를 통해 트랜덕티브 학습 및 악의적이거나 노이즈가 섞인 그래프에 대한 강건성을 Enable한다.

제안 방법

• 다중 헤드를 가진 가중 코사인 유사도 학습을 사용하는 유사도 측정으로 그래프 학습을 형식화한다.
• 유사도 점수에서 음수 값이 없는 희소 인접 행렬을 얻기 위한 epsilon-이웃 sparsification을 도입한다.
• 그래프를 선형으로 확장 가능한 앵커 기반의 메트릭 학습 변형(IDGL-Anch)을 제안하여 노드 개수에 대한 시간/공간 복잡도를 제곱에서 선형으로 줄인다.
• 학습된 그래프와 초기 그래프를 선형 결합으로 결합하여 GNN의 최종 인접 행렬(Eq. 3)을 형성한다.
• 하향 예측기를 두 계층의 GCN으로 사용하고 태스크 손실과 그래프 정규화 손실(hybrid loss)을 공동으로 최적화하여 파라미터를 학습한다.
• 그래프-임베딩 교환을 독립적으로 수행하는 하이브리드 메시지 전달 스킴을 사용하여 계산 비용을 줄인다(Eq. 7).

실험 결과

연구 질문

• RQ1 임베딩 개선을 기반으로 그래프 토폴로지를 반복적으로 정제하는 엔드-투-엔드 프로세스가 다운스트림 예측을 우수하게 만들 수 있는가?
• RQ2 학습된 그래프 구조와 초기 그래프를 결합하면 트랜덕티브 및 인덕티브 설정 전반에서 강건성과 예측 품질이 향상되는가?
• RQ3 대규모 그래프에 대해 시간 및 메모리 비용을 줄이면서도 성능을 유지하는 확장 가능한 앵커 기반 변형이 가능한가?
• RQ4 다중 헤드 가중화 및 sparsification을 사용하는 유사도 메트릭 학습이 강건한 그래프 구성에 효과적인가?
• RQ5 예측 손실과 그래프 정규화 손실의 공동 최적화가 이전의 bilevel 또는 고정 그래프 접근법에 비해 어떤 차이를 보이는가?

주요 결과

• IDGL은 그래프가 있는 설정과 그래프가 없는 설정을 포함한 아홉 가지 벤치마크에서 지속적으로 최첨단 baselines를 능가하거나 일치합니다.
• IDGL-Anch는 선수의 그래프 확장성에서 눈에 띄게 향상된 선형 복잡도와 함께 유사하거나 더 나은 결과를 달성합니다.
• 반복 학습 프로세스는 실제로 빠르게 수렴하며 작업에 맞춘 동적 종료 기준을 제공합니다.
• IDGL은 악의적 그래프에 대한 강건성을 보여 무작위 엣지 추가/삭제에서 경쟁력 있는 성능을 유지합니다.
• 작업 손실을 그래프 정규화 손실과 함께 공동 최적화하는 경우 단독으로 작업 손실을 사용하거나 그래프 정규화만 사용하는 것보다 더 우수한 성능을 보입니다(ablation 결과).
• 인덕티브 설정에서 IDGL 및 IDGL-Anch는 고정 그래프에 의존하거나 인덕티브 시나리오를 처리하지 못하는 베이스라인보다 우수합니다.