[논문 리뷰] A*Net: A Scalable Path-based Reasoning Approach for Knowledge Graphs

Zhaocheng Zhu, Xinyu Yuan외 5명|arXiv (Cornell University)|2022. 06. 07.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

A*Net은 A* 알고리즘을 영감으로 삼은 신경망 우선순위 함수를 학습하여 지식 그래프에서 경로 기반 추론을 스케일러블하게 구현한다. 이는 메시지 전파 중에 중요한 노드와 간선을 효율적으로 선택할 수 있게 하며, 오브젝트 기반 지식 그래프 ogbl-wikikg2에서 백만 규모 지식 그래프를 처리하면서도 노드와 간선의 0.2%만 사용하여 기존의 경로 기반 및 임베딩 기반 방법들을 능가하는 성능을 달성한다. 또한 수렴 속도가 빠르다.

ABSTRACT

Reasoning on large-scale knowledge graphs has been long dominated by embedding methods. While path-based methods possess the inductive capacity that embeddings lack, their scalability is limited by the exponential number of paths. Here we present A*Net, a scalable path-based method for knowledge graph reasoning. Inspired by the A* algorithm for shortest path problems, our A*Net learns a priority function to select important nodes and edges at each iteration, to reduce time and memory footprint for both training and inference. The ratio of selected nodes and edges can be specified to trade off between performance and efficiency. Experiments on both transductive and inductive knowledge graph reasoning benchmarks show that A*Net achieves competitive performance with existing state-of-the-art path-based methods, while merely visiting 10% nodes and 10% edges at each iteration. On a million-scale dataset ogbl-wikikg2, A*Net not only achieves a new state-of-the-art result, but also converges faster than embedding methods. A*Net is the first path-based method for knowledge graph reasoning at such scale.

연구 동기 및 목표

• 경로 기반 지식 그래프 추론 방법의 확장성 문제를 해결한다. 이는 지수적 경로 증가로 인해 발생한다.
• 동적 프rogram밍 기반 방법에서 전수 또는 전체 그래프 경로 열거의 비효율성을 해결한다.
• 임베딩 기반 방법이 지배하는 대규모 지식 그래프에서 유추 추론을 가능하게 한다. 이는 해석 가능성에 빈도를 두고 있다.
• 노드와 간선의 선택 비율을 조정할 수 있도록 구성 가능한 방법을 개발하여 성능와 효율성의 균형을 이룬다.
• 지식 그래프 임베딩에 의존하지 않고도 백만 규모 지식 그래프에서 최고 성능을 달성한다.

제안 방법

• 각 반복에서 노드와 간선의 학습된 우선순위 점수를 기반으로 K개의 노드와 L개의 간선만 선택하여 계산 비용을 줄인다.
• 메시지 전파를 선택된 부분 그래프에 적용하여 노드 표현을 업데이트함으로써 의미적으로 관련 있는 경로에 집중한다.
• 추론 작업의 목적을 기반으로 우선순위 함수를 엔드 투 엔드로 훈련하며, 추가적인 지도 학습이나 수작업 히우리스틱이 필요 없다.
• 선택된 노드와 간선의 비율을 조절함으로써 성능와 효율성 간의 트레이드오프를 가능하게 한다 (예: 전체의 10% 또는 0.2%).
• 임베딩 기반 모델과 달리 경로 의미의 인덕티브 바이어스를 활용하여 미리 보지 않은 엔티티로 일반화할 수 있다.

실험 결과

연구 질문

• RQ1 학습된 우선순위 함수가 계산 비용을 크게 줄이면서도 높은 성능을 달성할 수 있는가?
• RQ2 기존 방법들이 지수적 경로 증가로 실패하는 상황에서, 경로 기반 추론이 백만 규모 지식 그래프로 확장 가능한가?
• RQ3 제안된 방법이 대규모 데이터셋에서 정확도와 수렴 속도 면에서 최고 성능을 내는 임베딩 기반 모델을 능가하는가?
• RQ4 블랙박스 임베딩과 달리 의미 있는 추론 경로를 강조함으로써 설명 가능성을 유지하는가?
• RQ5 각 반복에서 처리하는 노드와 간선의 비율을 제어함으로써 성능를 효율성과 얼마나 트레이드오프로 조절할 수 있는가?

주요 결과

• A*Net은 백만 규모 지식 그래프인 ogbl-wikikg2 벤치마크에서 검증 MRR 0.786을 기록하여 이전의 모든 경로 기반 및 임베딩 기반 방법들을 능가하는 최고 성능을 달성한다.
• ogbl-wikikg2에서 A*Net은 각 반복에 대해 노드의 0.2%와 간선의 0.2%만 사용하지만, 단일 A100 GPU에서 임베딩 기반 방법보다 더 빠르게 수렴한다.
• FB15k-237 및 WN18RR와 같은 더 작은 벤치마크에서도 A*Net은 최고 성능의 경로 기반 방법과 동등하거나 이를 초월하며, 각 반복에 대해 노드와 간선의 10%만 처리한다.
• 모델는 강력한 인덕티브 일반화 능력을 보이며, 임베딩 기반 모델과 달리 미리 보지 않은 엔티티에 대해서도 성공적으로 추론할 수 있다.
• 시각화 결과는 A*Net이 의미적으로 유의미한 경로를 식별하고 우선순위를 매기는 것을 학습함을 확인한다. 이는 임베딩 모델에서 확보할 수 없는 해석 가능성이다.
• ogbl-wikikg2에서의 학습 시간 대 MRR 곡선을 통해 A*Net의 수렴 속도가 임베딩 기반 방법보다 뚜렷이 빠르다는 것이 입증되었다.