[논문 리뷰] Adaptive Attentional Network for Few-Shot Knowledge Graph Completion

Jiawei Sheng, Shu Guo외 5명|arXiv (Cornell University)|2020. 10. 19.

Advanced Graph Neural Networks참고 문헌 30인용 수 7

한 줄 요약

이 논문은 적은 샘플에서 지식 그래프 완성 문제를 해결하기 위해 적응형 주변 인코딩과 질의 인식 어텐션을 사용하여 동적이고 작업에 특화된 엔티티 및 참조의 표현을 학습하는 FAAN이라는 적응형 어텐션 네트워크를 제안한다. 엔티티의 역할과 참조의 기여도를 동적으로 모델링함으로써 FAAN은 다양한 적은 샘플 설정에서 두 개의 공개 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Few-shot Knowledge Graph (KG) completion is a focus of current research, where each task aims at querying unseen facts of a relation given its few-shot reference entity pairs. Recent attempts solve this problem by learning static representations of entities and references, ignoring their dynamic properties, i.e., entities may exhibit diverse roles within task relations, and references may make different contributions to queries. This work proposes an adaptive attentional network for few-shot KG completion by learning adaptive entity and reference representations. Specifically, entities are modeled by an adaptive neighbor encoder to discern their task-oriented roles, while references are modeled by an adaptive query-aware aggregator to differentiate their contributions. Through the attention mechanism, both entities and references can capture their fine-grained semantic meanings, and thus render more expressive representations. This will be more predictive for knowledge acquisition in the few-shot scenario. Evaluation in link prediction on two public datasets shows that our approach achieves new state-of-the-art results with different few-shot sizes.

연구 동기 및 목표

• 적은 샘플 지식 그래프 완성에서 정적 엔티티 및 참조 표현의 한계를 해결하기 위해.
• 작업 관계에 따라 엔티티의 역할을 동적으로 모델링하기 위해 작업 컨텍스트에 기반한 주변 어텐션을 적응적으로 조정함으로써.
• 질의에 기반하여 참조의 기여도를 차별화하기 위해 질의 인식 어텐션 가중치를 학습함으로써.
• 엔티티 및 참조의 세밀한 의미적 의미를 포착함으로써 적은 샘플 학습을 향상시키기 위해.
• 장꼬리 관계에 대한 저자료 환경에서 더 나은 일반화 및 예측 성능을 달성하기 위해.

제안 방법

• FAAN은 작업 관계에 따라 엔티티의 한 스텝 이내 주변 엔티티에 대해 동적으로 어텐션 가중치를 할당하는 적응형 주변 인코더를 사용하여 역할 인식 엔티티 표현을 가능하게 한다.
• 모델은 참조 및 질의 삼항관계의 작업 관계에 대한 다의미적 의미를 포착하기 위해 트랜스포머 블록의 스택을 사용한다.
• 질의에 따라 변하는 어텐션 가중치를 계산함으로써 참조를 적응적으로 집계하는 질의 인식 어휘집합기가 사용된다. 이는 참조의 관련성을 차별화한다.
• 어텐션 메커니즘은 이동 가정에 기반하여 작업에 특화된 의미에 동적으로 적응할 수 있도록 한다.
• 컨텍스트 기반 가중 주변 엔티티로 인해 엔티티 표현이 향상되며, 참조 표현은 질의와의 동적 매칭을 통해 개선된다.
• 최종 예측은 적응형 어텐션을 사용하여 질의와 후보 엔티티 간의 관련성을 계산하는 매칭 프로세서를 통해 이루어진다.

실험 결과

연구 질문

• RQ1 다양한 작업 관계에서 다양한 역할을 반영하기 위해 엔티티 표현을 어떻게 동적으로 만들 수 있는가?
• RQ2 질의 컨텍스트에 기반하여 참조 표현을 적응적으로 가중할 수 있는가? 이를 통해 적은 샘플 예측 성능이 향상되는가?
• RQ3 정적 표현보다 동적 어텐션 모델링이 적은 샘플 지식 그래프 완성에서 더 나은 성능을 내는가?
• RQ4 후보 엔티티 수가 다양한 관계에서 모델의 일반화 능력은 어떻게 되는가?
• RQ5 다양한 적은 샘플 설정에서 기존 최신 기술 수준 방법을 초월할 수 있는가?

주요 결과

• FAAN은 적은 샘플 시나리오에서 링크 예측에 대해 NELL과 Freebase 데이터셋 양쪽에서 새로운 최신 기술 수준 성능을 달성한다.
• NELL에서 5-샷 설정에서 MRR는 0.371(MetaR)에서 0.533으로 향상되었고, Hits@10은 0.453에서 0.766으로 상승했다.
• 큰 후보 집합(예: 10,569개 후보)이 있는 관계의 경우, FAAN은 Hits@10 0.128을 기록하여 MetaR의 0.086보다 뛰어난 성능 유지를 보였다.
• 관계 간에 강건한 성능을 보였으며, NELL 테스트 세트의 11개 관계 ID 중 9개에서 MetaR를 능가했다.
• 사례 연구 결과, 어텐션 가중치가 동적으로 적응하는 것으로 확인되었다: 위치 관련 질의는 위치 관련 참조에 더 많은 어텐션을 기울였고, 조직 관련 질의는 조직 관련 참조에 더 많은 어휘를 기울였다.
• 적응형 매칭 프로세서는 LSTM 매칭 및 간단한 참조 선택(C1, C2)과 같은 베이스라인에 비해 유의미하게 뛰어난 성능을 보이며, 더 나은 관련성 계산 능력을 입증했다.