[논문 리뷰] GeniePath: Graph Neural Networks with Adaptive Receptive Paths

Ziqi Liu, Chaochao Chen외 5명|arXiv (Cornell University)|2018. 02. 03.

Advanced Graph Neural Networks참고 문헌 21인용 수 47

한 줄 요약

GeniePath는 그래프에서 적응적 수용 경로를 학습하되, 적응적 폭(어떤 이웃이 중요한지)과 적응적 깊이(전파 범위)를 결합하여 대규모 그래프에서 전이적(transductive) 및 귀납적(inductive) 설정 모두에서 최첨단 성과를 달성한다.

ABSTRACT

We present, GeniePath, a scalable approach for learning adaptive receptive fields of neural networks defined on permutation invariant graph data. In GeniePath, we propose an adaptive path layer consists of two complementary functions designed for breadth and depth exploration respectively, where the former learns the importance of different sized neighborhoods, while the latter extracts and filters signals aggregated from neighbors of different hops away. Our method works in both transductive and inductive settings, and extensive experiments compared with competitive methods show that our approaches yield state-of-the-art results on large graphs.

연구 동기 및 목표

• 동기: 고정된 이웃이 아닌 적응적이고 데이터 기반의 수용 경로를 학습하여 그래프 신경망을 개선한다.
• 목표: 이웃의 폭과 깊이를 효율적으로 탐색할 수 있는 순열 불변(permutation-invariant) 적응 경로 계층을 설계한다.
• 목표: 대규모 그래프에서 전이적(transductive) 및 귀납적(inductive) 설정 모두에서 최첨단 성능을 달성한다.

제안 방법

• 적응적 경로 계층을 제안한다. 두 구성요소: 한 홉 이웃의 중요도를 부여하는 적응적 폭 함수와 다중 홈에 걸친 신호를 추출/필터링하는 적응적 깊이 함수.
• 이웃 연산의 불변성을 만족하도록 f({h_j}) = ρ(Σ_j φ(h_j))를 따른 순열 불변 집계(aggregation)를 정의한다.
• 적응적 폭을 일반화 선형 주의(attention)로 구현: α(x,y) = softmax_y(v^T tanh(W_s^T x + W_d^T y)).
• 적응적 깊이를 게이트 기반 메모리 메커니즘(LSTM 유사)으로 구현하여 전파 단계에 걸쳐 각 노드의 메모리 C_i를 업데이트하고, 게이트 i, f, o 및 후보 igure C로 신호 흐름을 제어한다.
• GeniePath와 GeniePath-lazy 변형을 제공한다: GeniePath는 깊이를 점진적으로 평가하고, GeniePath-lazy는 깊이 평가를 연기하며 T 홉에 걸친 폭 신호를 먼저 사용해 깊이 필터링을 적용하기 전에 폭을 활용한다.
• 에지(edge) 위 주의(attention)를 보조 희소 행렬 L과 R로 형식화해 에지 수에 비례하도록 복잡도를 선형으로 유지하여 계산 효율성을 보장한다.

실험 결과

연구 질문

• RQ1 적응적 폭과 깊이 함수가 고정된 이웃 체계 이상에서 의미 있는 수용 경로를 학습할 수 있는가?
• RQ2 적응적 수용 경로가 기존 GNN과 비교해 전이적 및 귀납적 그래프 학습 작업 모두에서 성능을 향상시키는가?
• RQ3 GeniePath는 깊은 전파에서 과도한 평활화(oversmoothing)나 성능 저하 없이 어떻게 처리하는가?
• RQ4 학습된 수용 경로와 전통적 그래프 라플라시안 기반 이웃 중요도 간의 질적 차이는 무엇인가?

주요 결과

• GeniePath는 전이적 및 귀납적 설정에서 여러 대형 그래프 벤치마크에서 경쟁력 있는 또는 최첨단 성과를 달성한다.
• Pubmed, BlogCatalog(두 버전), 및 Alipay(전이적)에서 GeniePath ∗는 GCN, GraphSAGE, GAT 등 강력한 베이스라인과 대등하거나 이를 능가한다.
• 귀납적 PPI 설정에서 GeniePath ∗는 Micro-F1 0.979를 달성해 GraphSAGE 및 GCN 베이스라인을 상회한다.
• GeniePath-lazy 변형은 성능을 더 향상시키며 잔차(residual) 변형과 함께 PPI에서 Micro-F1 최대 0.985를 달성한다.
• GeniePath는 깊은 층 쌓기에 덜 민감하게 유지되며 깊이가 증가해도 견고한 성능을 보인다(다수의 베이스라인과 달리).
• 정성적 분석은 GeniePath가 그래프 라플라시안 기반 방법의 밀집한 패턴과 대비해 더 높은 추정 중요도를 가진 모서리(edge)들로 구성된 희소하고 의미 있는 수용 경로를 학습함을 시사한다.