[논문 리뷰] Graph Geometry Interaction Learning

Shichao Zhu, Shirui Pan외 4명|arXiv (Cornell University)|2020. 10. 23.

Advanced Graph Neural Networks참고 문헌 28인용 수 21

한 줄 요약

이 논문은 기하학적 상호작용 학습(Geometry Interaction Learning, GIL)을 제안하며, 이는 이방성 및 쌍곡 공간에서 그래프 구조를 이중 기하학 상호작용 메커니즘을 통해 동시에 모델링하는 새로운 그래프 표현 방법이다. GIL은 쌍곡 공간에서의 거리 인식 주의 메커니즘과 확률 조립을 통한 적응형 특징 융합을 활용하여 각 노드에 대해 기하학적 특성의 중요도를 동적으로 할당하며, 다섯 개인 기준 데이터셋에서 노드 분류 및 링크 예측 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

While numerous approaches have been developed to embed graphs into either Euclidean or hyperbolic spaces, they do not fully utilize the information available in graphs, or lack the flexibility to model intrinsic complex graph geometry. To utilize the strength of both Euclidean and hyperbolic geometries, we develop a novel Geometry Interaction Learning (GIL) method for graphs, a well-suited and efficient alternative for learning abundant geometric properties in graph. GIL captures a more informative internal structural features with low dimensions while maintaining conformal invariance of each space. Furthermore, our method endows each node the freedom to determine the importance of each geometry space via a flexible dual feature interaction learning and probability assembling mechanism. Promising experimental results are presented for five benchmark datasets on node classification and link prediction tasks.

연구 동기 및 목표

• 정규성과 계층성과 같은 다양한 구조적 특성을 포착하는 데에 단일 기하학 기반 그래프 임베딩의 한계를 해결하기 위해.
• 상호작용 학습 메커니즘을 통해 유클리드 및 쌍곡 표현 간 상호 강화를 가능하게 하기 위해.
• 낮은 차원의 정보가 풍부한 노드 표현을 유지하면서도 둘 다에서 등각 불변성을 유지하기 위해.
• 하류 작업 성능 향상을 위해 각 노드에 특화된 기하학 임베딩의 가중치를 적응적으로 제공하기 위해.
• 각 노드별로 각 기하학의 기여도를 가시화하여 모델의 해석 가능성 향상시키기 위해.

제안 방법

• 교차 기하학 메시지 전파를 위해 유클리드 공간과 쌍곡 공간을 연결하기 위해 지수 및 로그 매핑을 활용한다.
• 접선 공간에서의 쌍곡 거리를 사용해 이웃 집합을 유도하는 쌍곡 공간 내의 거리 인식 주의 메커니즘을 도입한다.
• 이중 공간 주의와 등각적 구조 조정을 활용해 양 기하학에서의 특징을 적응적으로 융합하는 상호작용 학습 모듈을 구현한다.
• 기하학별 노드 신뢰도 가중치를 계산하기 위해 초평면 기반 로지스틱 회귀를 적용한 후 확률 조립을 수행한다.
• 유클리드 및 쌍곡 공간 양쪽에서 등각 불변성을 유지하면서 종단 간 학습을 가능하게 한다.
• 예측 과정에서 각 노드의 유클리드 및 쌍곡 임베딩의 상대적 중요도를 결정하기 위한 학습 가능한 가중치 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 유럽 및 쌍곡 기하학의 공동 모델링이 단일 공간 기반 방법에 비해 그래프 표현 학습 성능을 향상시킬 수 있는가?
• RQ2 두 기하학에서 온 정보를 효과적으로 상호작용시켜 노드 표현을 향상시킬 수 있는가?
• RQ3 기하학 임베딩에 대해 적응적이고 노드별로 가중치를 할당하는 것이 이질적인 그래프 구조에서 성능 향상에 기여하는가?
• RQ4 쌍곡 공간 내의 거리 인식 주의 메커니즘이 메시지 전파에 얼마나 기여하는가?
• RQ5 확률 조립 메커니즘이 각 기하학의 기여도를 노드별로 이해할 수 있는 통찰을 제공할 수 있는가?

주요 결과

• GIL은 다섯 개의 기준 데이터셋에서 노드 분류 및 링크 예측 작업에서 최신 기술 수준의 성능을 달성하며, 유클리드 및 쌍곡 기반 베이스라인을 모두 압도한다.
• 높은 쌍곡성 특성을 보이는 Disease 데이터셋에서 GIL은 노드 분류 정확도 90.70%를 기록했으며, 이는 다음으로 우수한 방법(88.98%)보다 뚜렷이 높은 성능이다.
• 낮은 쌍곡성 특성을 보이는 Citeseer 데이터셋에서 GIL은 72.97%의 정확도를 달성했으며, 최고의 베이스라인보다 1.5% 이상 높은 성능을 보였다.
• 절단 실험 결과 이중 특징 융합(GIL)이 가장 높은 성능을 기록했으며, GIL H↮E(융합 없음)는 가장 낮은 성능를 보여 상호작용의 중요성을 입증했다.
• 시각화 결과 계층적 그래프에서 경계 노드들이 쌍곡 임베딩에 더 높은 확률 가중치를 할당하는 것으로 나타나, 모델이 구조적 직관과 잘 일치함을 확인했다.
• 거리 인식 주의 메커니즋试론 모든 데이터셋에서 분산을 감소시키고 정확도를 향상시켰으며, Airpot 데이터셋에서 비주목 기반 변형 대비 평균 2.3% 향상된 성능 기록했다.