[논문 리뷰] Meta-Graph: Few Shot Link Prediction via Meta Learning

Avishek Joey Bose, Ankit Kumar Jain외 2명|arXiv (Cornell University)|2019. 12. 20.

Advanced Graph Neural Networks참고 문헌 41인용 수 30

한 줄 요약

Meta-Graph는 기울기 기반 메타학습 프레임워크를 도입하여 다수의 희박한 그래프 간의 소수의 예측 링크에 대해 적용되며, 학습 가능한 그래프 서명을 사용해 GNN 초기화를 조정한다. 최소한의 학습 엣지로도 빠른 적응과 더 나은 수렴을 가능하게 하여 기준 모델 대비 평균 AUC 5.3% 향상 달성.

ABSTRACT

We consider the task of few shot link prediction on graphs. The goal is to learn from a distribution over graphs so that a model is able to quickly infer missing edges in a new graph after a small amount of training. We show that current link prediction methods are generally ill-equipped to handle this task. They cannot effectively transfer learned knowledge from one graph to another and are unable to effectively learn from sparse samples of edges. To address this challenge, we introduce a new gradient-based meta learning framework, Meta-Graph. Our framework leverages higher-order gradients along with a learned graph signature function that conditionally generates a graph neural network initialization. Using a novel set of few shot link prediction benchmarks, we show that Meta-Graph can learn to quickly adapt to a new graph using only a small sample of true edges, enabling not only fast adaptation but also improved results at convergence.

연구 동기 및 목표

• 각 그래프에 진짜 엣지의 소수만 포함된 다중 그래프 환경에서 링크 예측 문제를 해결하기 위해.
• 관련된 그래프 간 지식 전이를 활용하여 낮은 데이터 환경에서의 빠른 적응과 향상된 수렴을 가능하게 하기 위해.
• 동일 도메인의 다양한 희박한 그래프에 대해 일반화 가능한 메타학습 프레임워크를 개발하기 위해.
• 그래프 구조를 기반으로 GNN 초기화를 조정하는 그래프 서명 함수를 도입하기 위해.
• 실제 세계를 반영한 그래프 분포를 사용하여 소수의 예측 링크 예측에 대한 벤치마크를 수립하기 위해.

제안 방법

• 기울기 기반 메타학습(MAML 방식)을 그래프 도메인에 적응시켜, 그래프 분포 전반에 걸쳐 공유되는 초기화를 학습한다.
• 각 입력 그래프의 구조적 특성을 인코딩하는 학습 가능한 그래프 서명 함수를 도입하여 GNN 초기화를 조정한다.
• 새로운 희박한 그래프에서의 빠른 적응이 가능하도록, 글로벌 초기화를 최적화하기 위해 고차원 기울기를 사용한다.
• 각 작업이 희박한 그래프에서 누락된 엣지를 예측하는 방식으로, 그래프 분포 전체에서 종합적으로 모델을 훈련한다.
• 소수의 양성 엣지만을 사용하여 각 새로운 그래프에서 미세조정하는 GNN 기반 링크 예측기 사용.
• 다양한 도메인의 다수의 희박한 그래프를 포함한 새로운 벤치마크 세트를 활용하여 소수의 예측 성능을 평가한다.

실험 결과

연구 질문

• RQ1 각 그래프에서 진짜 엣지가 소수만 존재할 경우, 메타학습이 링크 예측 성능을 향상시킬 수 있는가?
• RQ2 그래프 구조에 기반한 공통 GNN 초기화는 새로운 희박한 그래프로의 더 빠르고 정확한 적응을 가능하게 하는가?
• RQ3 희박한 그래프에서 수렴 속도와 최종 성능 측면에서 Meta-Graph는 표준 GNN 및 비-메타학습 기준 모델보다 어떻게 비교되는가?
• RQ4 그래프 서명 함수는 그래프 간의 구조적 차이를 효과적으로 포착하여 적응을 향상시키는가?
• RQ5 생물학적 또는 사회적 네트워크와 같은 동일 도메인에서 유래한 다양한 그래프 유형 간에 프레임워크가 일반화 가능한가?

주요 결과

• Meta-Graph는 세 가지 벤치마크 전반에서 비-메타학습 기준 모델 대비 평균 5.3% 높은 AUC를 확보했다.
• 모델은 새로운 희박한 그래프로의 빠른 적응을 보이며, 효과적인 미세조정을 위해 소수의 양성 엣지만으로도 충분하다.
• 그래프 서명 함수는 그래프별 초기화를 가능하게 하여 성능을 크게 향상시키며, 고정 또는 무작위 초기화 전략보다 뛰어난 성능을 보였다.
• Meta-Graph는 단백질-단백질 상호작용 네트워크 및 인용 그래프와 같은 동일 도메인의 다양한 그래프 유형 간에 잘 일반화된다.
• 특히 낮은 데이터 환경에서 수렴 속도와 최종 정확도 모두에서 강력한 기준 모델을 능가한다.
• 실험 결과는 고차원 기울기를 사용한 메타학습이 소수의 예측 링크 예측 작업에서 더 나은 일반화를 가능하게 한다는 것을 확인한다.