[논문 리뷰] Out-of-Sample Representation Learning for Multi-Relational Graphs

Marjan Albooyeh, Rishab Goel외 1명|arXiv (Cornell University)|2020. 04. 28.

Advanced Graph Neural Networks참고 문헌 32인용 수 4

한 줄 요약

이 논문은 비소속 지식 그래프에서 샘플 외 표현 학습을 위한 새로운 프레임워크를 제안한다. 여기서 엔티티 임베딩은 집계 기반 방법을 사용해 관계적 맥락에서만 추론된다. 수정된 학습 알고리즘과 집계 함수(예: ERAvg, LS)를 제안하여 DistMult와 같은 이행 모델이 재학습 없이도 새로운 엔티티로 일반화할 수 있도록 하였으며, oWN18RR 및 oFB15k-237 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하면서도 샘플 내 성능을 유지한다.

ABSTRACT

Many important problems can be formulated as reasoning in knowledge graphs. Representation learning has proved extremely effective for transductive reasoning, in which one needs to make new predictions for already observed entities. This is true for both attributed graphs(where each entity has an initial feature vector) and non-attributed graphs (where the only initial information derives from known relations with other entities). For out-of-sample reasoning, where one needs to make predictions for entities that were unseen at training time, much prior work considers attributed graph. However, this problem is surprisingly under-explored for non-attributed graphs. In this paper, we study the out-of-sample representation learning problem for non-attributed knowledge graphs, create benchmark datasets for this task, develop several models and baselines, and provide empirical analyses and comparisons of the proposed models and baselines.

연구 동기 및 목표

• 생산 시스템에서 중요시되지만 여전히 탐색이 부족한 비소속 다중관계 그래프에서 샘플 외 표현 학습 문제를 공식적으로 정의하고 해결하는 것.
• 표준화된 평가를 가능하게 하기 위해 샘플 외 추론을 위한 벤치마크 데이터셋(oWN18RR 및 oFB15k-237)을 구축하는 것.
• 이행 모델이 재학습 없이도 테스트 시점에 새로운 엔티티로 일반화할 수 있도록 하는 새로운 학습 알고리즘과 집계 함수를 개발하는 것.
• 다양한 지표와 데이터 분할에서 제안된 모델 및 기준 모델을 실증적으로 평가하여 강건성과 일반화 능력을 입증하는 것.
• 샘플 내 성능을 유지하면서도 샘플 외 추론 능력을 향상시켜 실세계 구현에 실용적인 방법을 확보하는 것.

제안 방법

• 이행적 및 샘플 외 학습 방식을 통합할 수 있도록 하기 위해 초수기 ψ를 도입한 수정된 학습 알고리즘(알고리즘 2)을 제안하여 두 설정에 대한 동시 최적화를 가능하게 한다.
• 샘플 외 엔티티의 표현을 그들의 관측된 관계에서 계산하기 위해 두 가지 집계 함수—ERAvg(관계 임베딩의 원소별 평균)와 LS(다양분 가능 파라미터를 통한 학습된 스케일링)—를 도입한다.
• 관련 관계만을 기반으로 엔티티 임베딩를 생성하기 위해 DistMult와 같은 이행 모델을 샘플 외 추론을 지원하도록 변형한다.
• 샘플 내(이행적) 및 샘플 외 링크 예측 작업의 성능를 균형 잡는 하이브리드 학습 목표를 사용하며, ψ를 통해 성능 간의 트레이드오프를 제어한다.
• 해당 곱과 임베딩 합을 기반으로 한 정규화된 점수 함수를 사용하며, L2 정규화와 드롭아웃을 적용해 과적합을 방지한다.
• 학습률과 가중치 감쇠를 최적화하기 위해 하이퍼파ram터 튜닝을 수행한 Adam 옵timizer를 사용하여 실험 전반에서 안정적인 수렴을 확보한다.

실험 결과

연구 질문

• RQ1 새로운 엔티티에 대한 특징이 제공되지 않을 경우, 이행 모델이 효과적인 샘플 외 추론을 수행할 수 있도록 어떻게 적응시킬 수 있는가?
• RQ2 다양한 집계 전략(예: 평균, 학습된 스케일링)이 샘플 외 엔티티 표현 학습 성능에 미치는 영향은 어떠한가?
• RQ3 학습 절차에서의 보간 하이퍼파ram터 ψ가 새로운 엔티티로의 일반화 능력에 미치는 영향은 무엇이며, 샘플 내 성능 유지와의 관계는?
• RQ4 제안된 방법으로 학습된 모델이 oWN18RR 및 oFB15k-237를 포함한 다양한 지식 그래프 벤치마크에서 얼마나 잘 일반화되는가?
• RQ5 제안된 방법은 샘플 내 성능을 유지하면서도 샘플 외 링크 예측 정확도를 크게 향상시킬 수 있는가?

주요 결과

• oDistMult-ERAvg는 oFB15k-237에서 MRR 0.354를 기록하여 모든 기준 모델과 표준 DistMult 모델을 앞서며 최고 성능을 달성했다.
• oDistMult-LS는 oWN18RR에서 최고의 MRR 0.473을 기록하여 단순 평균보다 학습된 스케일링의 효과를 입증했다.
• 하이퍼파ram터 ψ는 성능에 큰 영향을 미쳤으며, ψ 값이 0.1에서 0.5 사이일 때 가장 우수한 결과를 보였다. ψ=0(순수 이행 학습)일 경우 성능이 열악했다.
• 샘플 외 엔티티의 관련 삼중항 수가 증가할수록 성능이 저하되는 경향을 보였으며, 이는 평균 기반 집계 전략의 한계를 시사한다.
• 제안된 방법은 표준 DistMult와 거의 동일한 샘플 내 성능(MRR: 0.4483 vs. 0.4498)을 유지하여 이행 작업에서 성능 저하가 없음을 보였다.
• 결과는 ψ를 통한 동시 최적화가 정규화 역할을 하여, 이미 보인 엔티티와 보이지 않는 엔티티 모두에 대해 더 강건하고 일반화 가능한 표현을 학습할 수 있도록 한다는 것을 시사한다.