[논문 리뷰] An Interpretable Knowledge Transfer Model for Knowledge Base Completion

Qizhe Xie, Xuezhe Ma외 2명|arXiv (Cornell University)|2017. 04. 19.

Topic Modeling참고 문헌 38인용 수 27

한 줄 요약

이 논문은 지식 베이스 완성에서 관계 간에 공유되는 숨겨진 개념을 발견하기 위해 희소 어텐션 기반 메커니즘을 사용하는 지식 임bedding 모델인 ITransF를 제안한다. 이는 해석 가능한 지식 전이를 가능하게 하며, 외부 데이터 없이 WN18과 FB15k에서 평균 순위와 Hits@10 성능을 향상시킨다. 기존과 유사한 모델들보다 뛰어난 성능을 보이며, 관계별로 특화된 투영 행렬에 어떻게 개념이 조합되는지를 나타내는 희소 어텐션 벡터를 학습함으로써 성능을 향상시킨다.

ABSTRACT

Knowledge bases are important resources for a variety of natural language processing tasks but suffer from incompleteness. We propose a novel embedding model, \emph{ITransF}, to perform knowledge base completion. Equipped with a sparse attention mechanism, ITransF discovers hidden concepts of relations and transfer statistical strength through the sharing of concepts. Moreover, the learned associations between relations and concepts, which are represented by sparse attention vectors, can be interpreted easily. We evaluate ITransF on two benchmark datasets---WN18 and FB15k for knowledge base completion and obtains improvements on both the mean rank and Hits@10 metrics, over all baselines that do not use additional information.

연구 동기 및 목표

• 관계 간에 통계적 규칙성을 공유할 수 있도록 하여 지식 베이스 완성에서 데이터 희소성 문제를 해결하기 위해.
• 희소 어텐션 기반 메커니즘을 통해 공유되는 숨겨진 개념을 발견하여 관계 투영 행렬의 일반화 능력을 향상시키기 위해.
• 각 관계에 대해 개념이 어떻게 조합되는지를 명시적으로 보여주는 희소 어텐션 벡터를 학습함으로써 지식 전이의 해석 가능성을 높이기 위해.
• 후행 정규화에 의존하지 않고 어텐션 메커니즘 내부에서 직접적으로 희소성을 유도하는 최적화 알고리즘을 개발하기 위해.
• 개념 발견을 통한 내부 매개변수 공유를 활용하여 외부 자원 없이도 모델 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• ITransF는 공유 개념 행렬을 관계별 투영 행렬로 조합하기 위해 희소 어텐션 기반 메커니즘을 사용하며, 이는 관계 간 지식 전이를 가능하게 한다.
• 모델은 각 관계의 투영 행렬에 기여하는 숨겨진 개념을 나타내는 희소하고 해석 가능한 어텐션 벡터를 학습한다.
• 학습 중에 희소성을 직접 강제하는 블록 반복 최적화 알고리즘을 도입하여 일반화 능력과 해석 가능성을 향상시킨다.
• 에너지 함수는 투영된 헤드 엔티티와 테일 엔티티 간의 차이의 노름으로 정의되며, 이는 양성 트리플에 대해 최소화된다.
• 공유 개념 행렬에 대한 학습된 어텐션을 통해 엔티티를 관계 의존적인 공간으로 투영함으로써 TransE의 강한 사전 지식을 피한다.
• 모델은 마진 기반 순위 손실을 사용하여 엔드 투 엔드로 학습되며, 양성 트리플에 대해서는 에너지를 최소화하고, 음성 트리플에 대해서는 최대화한다.

실험 결과

연구 질문

• RQ1 지식 임bedding 모델이 관계 간에 공유되는 숨겨진 개념을 발견하여 지식 베이스 완성의 일반화 능력을 향상시킬 수 있는가?
• RQ2 명시적인 어텐션 기반 메커니즘을 통해 관계 간 지식 전이를 어떻게 해석 가능한 방식으로 만들 수 있는가?
• RQ3 직접적인 희소성 최적화를 통한 희소 어텐션 기반 메커니즘이 데이터 희소 환경에서 밀도 있는 어텐션 또는 후행 정규화보다 성능이 뛰어나게 할 수 있는가?
• RQ4 제안된 모델이 외부 지식이나 사전 학습 없이도 벤치마크 데이터셋에서 더 높은 성능을 달성할 수 있는가?
• RQ5 학습된 어텐션 메커니즘이 관계와 공유 개념 간에 의미 있고 해석 가능한 연관성을 얼마나 잘 드러내는가?

주요 결과

• ITransF는 외부 자원 없이 WN18 벤치마크에서 평균 순위 205와 Hits@10 94.2를 달성하며, 이는 기존과 유사한 모든 모델들을 능가한다.
• FB15k 데이터셋에서는 평균 순위 65와 Hits@10 81.0을 기록하여 기존 모델들보다 일관되게 향상된 성능을 보였다.
• 희소 어텐션 벡터를 사용한 모델은 FB15k에서 에포크당 학습 시간을 1분 52초로 단축시켜 밀도 있는 어텐션 방법보다 빠르게 작동한다.
• 블록 반복 최적화 알고리즘이 성공적으로 희소성을 유도하여, $\\(ell_1$-정규화된 밀도 있는 어텐션 대비 더 해석 가능하고 일반화 능력이 뛰어난 어텐션 패턴을 도출했다.
• ITransF는 사전 학습된 STransE 행렬에 대한 희소 인코딩보다 뚜렷한 성능 향상을 보이며, 링크 예측을 위한 엔드 투 엔드 최적화가 재구성 기반 희소화보다 더 효과적임을 입증했다.
• 학습된 어텐션 벡터는 공유 개념이 각 관계의 투영 행렬을 구성하는 방식을 명확하고 해석 가능한 방식으로 드러내어 모델의 투명성을 향상시켰다.