[논문 리뷰] Meta Reasoning over Knowledge Graphs

Hong Wang, Wenhan Xiong외 4명|arXiv (Cornell University)|2019. 08. 13.

Advanced Graph Neural Networks참고 문헌 30인용 수 8

한 줄 요약

이 논문은 로컬 그래프 이웃과 추론 경로에서 작업별 초기 파라미터를 생성하는 메타-에인코더를 사용하는 소수 샘플 지식 그래프 추론을 위한 메타러닝 프레임워크를 제안한다. 작업별 메타정보를 활용함으로써 모델은 유의미하게 향상된 초기 성능를 달성하고, FB15K-237 및 NELL 데이터셋에서 MAML 및 기타 베이스라인을 능가한다.

ABSTRACT

The ability to reason over learned knowledge is an innate ability for humans and humans can easily master new reasoning rules with only a few demonstrations. While most existing studies on knowledge graph (KG) reasoning assume enough training examples, we study the challenging and practical problem of few-shot knowledge graph reasoning under the paradigm of meta-learning. We propose a new meta learning framework that effectively utilizes the task-specific meta information such as local graph neighbors and reasoning paths in KGs. Specifically, we design a meta-encoder that encodes the meta information into task-specific initialization parameters for different tasks. This allows our reasoning module to have diverse starting points when learning to reason over different relations, which is expected to better fit the target task. On two few-shot knowledge base completion benchmarks, we show that the augmented task-specific meta-encoder yields much better initial point than MAML and outperforms several few-shot learning baselines.

연구 동기 및 목표

• 새로운 관계에 대한 훈련 예제가 제한된 소수 샘플 지식 그래프 보완 문제에 대응한다.
• 메타러닝을 활용해 최소한의 감독 하에 새로운 관계에 빠르게 적응할 수 있도록 한다.
• 일반적인 초기화 방식이 아닌, 작업별 정보를 모델 초기화에 통합함으로써 MAML를 초월한다.
• 다중 홉 추론 체인을 생성함으로써 설명 가능한 추론을 개발하여 모델의 해석 가능성 향상.
• 지식 그래프의 구조적 정보를 효과적으로 활용하기 위해 특화된 에인코더—이웃 에인코더 및 경로 에인코더—를 설계한다.

제안 방법

• 로컬 그래프 이웃과 추론 경로와 같은 작업별 정보를 작업 의존적 모델 초기화 파라미터로 인코딩하는 메타-에인코더를 도입한다.
• 시작 엔티티와 종료 엔티티 임베딩 간의 차이를 계산하여 이웃 에인코더를 사용해 국소 구조적 맥락을 캡처하는 작업 표현을 생성한다.
• 시작 엔티티에서 종료 엔티티로의 추론 경로를 표현하기 위해 경로 에인코더를 제안하여 다중 홉 관계 모델링을 가능하게 한다.
• 메타러닝을 사용해 훈련하며, 메타 최적화기는 여러 소수 샘플 작업을 통해 메타손실을 최소화하도록 초기 파라미터를 업데이트한다.
• 소수 샘플 학습 설정에서 모델을 적용: 관계당 1~50샷, 미세조정 후 메타테스트 작업에서 평가.
• MAML을 베이스라인으로 사용하지만, 일반적인 초기화 대신 작업별 메타에인코딩을 보완하여 일반화 및 초기 성능 향상.

실험 결과

연구 질문

• RQ1 로컬 이웃과 추론 경로와 같은 작업별 메타정보가 소수 샘플 지식 그래프 추론을 향상시킬 수 있는가?
• RQ2 작업 정체성에 따라 다양한 초기 모델 파라미터를 생성하는 메타에인코더가 단일 통합 초기화보다 더 나은 적응을 이끌 수 있는가?
• RQ3 이웃 에인코더와 경로 에인코더가 소수 샘플 추론을 위한 의미 있는 작업 표현을 생성하는 데 얼마나 효과적인가?
• RQ4 제안된 방법이 미세조정 이전의 초기 성능에서 MAML 및 기타 베이스라인보다 뛰어나게 작동할 수 있는가?
• RQ5 다양한 소수 샘플 크기에서 모델 성능는 어떻게 변화하며, 자료 부족 상황에서도 안정적인가?

주요 결과

• 이웃 에인코더는 FB15K-237에서 최고의 성능를 기록했으며, 50샷 지원 시 Hits@1이 0.049, MRR가 0.069를 기록했다.
• 경로 에인코더는 NELL에서 모든 베이스라인, MAML 및 MAML-Mask를 능가하는 성능를 기록했다.
• 메타에인코더를 갖춘 모델은 무작위 초기화 및 MAML 베이스라인보다 훈련 이전의 초기 성능에서 유의미하게 뛰어났다.
• FB15K-237에서 이웃 에인코더는 단 1샷으로도 Hits@1이 0.047를 기록했으며, 무작위 초기화의 0.008보다 높았다.
• 경로 에인코더는 일관된 성능 향상을 보였으며, 5개 이상의 샘플이 증가함에 따라 성능이 향상되었다.
• 절단 실험 결과, 단 한 개의 지원 예제로도 이웃 에인코더를 통한 작업별 초기화가 무작위 초기화보다 더 높은 성능를 달성함을 확인했다.