[논문 리뷰] On Evaluating Embedding Models for Knowledge Base Completion

Yanjie Wang, Daniel Ruffinelli외 3명|arXiv (Cornell University)|2018. 10. 17.

Topic Modeling참고 문헌 32인용 수 5

한 줄 요약

이 논문은 지식 그래프 완성(KBC) 임bedding 모델에 대한 표준 평가 프로토콜을 도전하며, 엔티티 랭킹(ER)이 정밀도 중심의 KBC보다 질문-응답에 더 부합한다고 주장한다. 본문에서는 모든 가능한 (주어, 관계, 목적어) 삼중항—비논리적인 것까지 포함—을 랭킹하는 엔티티 쌍 랭킹(PR)을 제안한다. 이는 현재의 모델들이 PR 기준에서 빈약하게 성능을 내는 것으로 드러나며, 특히 단순한 규칙 기반 기준보다 열등함을 보여주어 모델과 평가 방법의 개선이 절실하다는 점을 시사한다.

ABSTRACT

Knowledge bases contribute to many web search and mining tasks, yet they are often incomplete. To add missing facts to a given knowledge base, various embedding models have been proposed in the recent literature. Perhaps surprisingly, relatively simple models with limited expressiveness often performed remarkably well under today's most commonly used evaluation protocols. In this paper, we explore whether recent models work well for knowledge base completion and argue that the current evaluation protocols are more suited for question answering rather than knowledge base completion. We show that when focusing on a different prediction task for evaluating knowledge base completion, the performance of current embedding models is unsatisfactory even on datasets previously thought to be too easy. This is especially true when embedding models are compared against a simple rule-based baseline. This work indicates the need for more research into the embedding models and evaluation protocols for knowledge base completion.

연구 동기 및 목표

• 표준 평가 프로토콜에서 잘 성능을 내지만, 실제로 지식 그래프 완성(KBC)에 효과적인지 여부를 조사하기 위해.
• 엔티티 랭킹(ER)이 KBC의 목표인 고정밀도 완성보다 질문-응답에 더 부합한다는 가정을 도전하며, KBC의 목표와 맞지 않음을 주장하기 위해.
• 모든 가능한 엔티티 쌍을 포함하는 방식으로 KBC의 고정밀도 요구를 더 잘 반영하는 새로운 평가 프로토콜인 엔티티 쌍 랭킹(PR)을 제안하고 평가하기 위해.
• 최신 임베딩 모델의 성능을 새로운 PR 프로토콜 하에서 단순한 규칙 기반 기준과 비교하여, 모델 신뢰성에 심각한 결함이 있음을 드러내기 위해.
• 유형 제약 조건이 모델 예측에 어떤 영향을 미치는지 평가하고, 잘못된 유형의 삼중항을 걸러내는 것이 성능 향상에 얼마나 기여하는지 분석하여, 모델이 관계 구조를 얼마나 잘 포착하는지 평가하기 위해.

제안 방법

• 각 관계 k에 대해 모든 가능한 (주어, 관계, 목적어) 삼중항—비논리적인 경우도 포함—을 랭킹하는 새로운 평가 프로토콜인 엔티티 쌍 랭킹(PR)을 제안한다.
• 표준 KBC 데이터셋(FB15K, FB-237, YAGO3-10)을 사용하고, DistMult, TransE, ComplEx, Analogy, RESCAL 및 규칙 기반 모델(RuleN)을 포함한 여러 임베딩 모델을 평가한다.
• 표준 엔티티 랭킹(ER)과 제안된 PR 프로토콜을 모두 적용하여, 다양한 평가 목표 하에서 성능를 비교한다.
• Freebase의 도메인 및 레인지 유형 제약 조건을 위반하는 예측을 제거하여 타입 필터링을 적용하고, 잘못된 유형의 삼중항을 얼마나 많이 예측하는지 및 필터링이 성능에 얼마나 기여하는지 평가한다.
• Hits@K 및 MAP@K(여기서 K=100)와 같은 표준 지표를 사용하여, 두 프로토콜 모두에서 랭킹 품질을 측정한다.
• 추론 과정에서의 과소평가 효과와 타입 필터링의 영향, 계산 비용에 미치는 영향을 분석하기 위해 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 표준 엔티티 랭킹(ER) 평가 프로토콜은 KBC를 위한 임베딩 모델의 진정된 성능을 정확히 반영하는가, 아니면 질문-응답 작업에 편향되어 있는가?
• RQ2 모든 가능한 엔티티 쌍—비논리적인 삼중항까지 포함—을 랭킹하는 방식으로 정밀도를 강조하는 새로운 평가 프로토콜인 엔티티 쌍 랭킹(PR) 하에서 최신 임베딩 모델의 성능은 어떠한가?
• RQ3 임베딩 모델이 잘못되거나 비논리적인 삼중항에 높은 점수를 부여하는 정도는 얼마나 되며, 이는 실제 지식 그래프 완성에서의 신뢰성에 어떤 영향을 미치는가?
• RQ4 더 엄격한 평가 프로토콜인 PR 하에서 단순한 규칙 기반 기준이 복잡한 임베딩 모델을 뛰어넘을 수 있는가, 그리고 이는 현재의 모델 설계에 어떤 시사점을 갖는가?
• RQ5 유형 제약 조건이 모델 예측에 얼마나 큰 영향을 미치며, 잘못된 유형의 예측을 걸러내는 것이 성능 향상과 계산 효율성 향상에 얼마나 기여하는가?

주요 결과

• 엔티티 쌍 랭킹(PR) 프로토콜 하에서 모든 임베딩 모델이 규칙 기반 기준인 RuleN보다 유의미하게 열등한 성능을 보였다. FB15K에서 RuleN은 Hits@100이 77.4%를 기록했고, FB-237에선 7.6%를 기록하여 현재 모델들이 고정밀도를 유지하지 못함을 시사한다.
• 모든 임베딩 모델의 성능은 타입 필터링을 통해 향상되었으며, 이는 모델들이 자주 잘못된 도메인 또는 레인지 유형의 삼중항을 예측함을 보여준다. 예를 들어, DistMult는 FB15K에서 타입 필터링 후 Hits@100이 17.5%p 향상되었다.
• 더 복잡한 FB-237 데이터셋에서는 타입 필터링 이후 모든 임베딩 모델의 성능가 유사하게 수렴하여, 정밀도 제약 조건이 강화되면 모델 간 차이가 줄어듦을 시사한다.
• 표준 엔티티 랭킹(ER) 프로토콜은 오해의 소지가 있다. 이는 '논리적인' 질문에 대해서만 평가하고 비논리적인 삼중항을 배제하기 때문에, 잘못된 사실에 높은 점수를 매기는 모델을 제재하지 못한다.
• 단순한 모델임에도 불구하고 RuleN은 평가된 모든 관계에서 거의 완벽한 성능을 기록하여, 정밀도가 우선시될 경우 규칙 기반 시스템이 복잡한 임베딩 모델을 뛰어넘을 수 있음을 보여준다.
• 타입 필터링은 평균 평가 시간을 원래 시간의 약 30%로 줄였으며, 배경 지식을 통합함으로써 신뢰성 향상뿐 아니라 효율성 향상도 동시에 달성할 수 있음을 보여준다.