[논문 리뷰] Ranking vs. Classifying: Measuring Knowledge Base Completion Quality

Marina Speranskaya, Martin Schmitt외 1명|arXiv (Cornell University)|2021. 02. 02.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 기존의 순위 기반 메트릭의 한계를 보완하기 위해 지식 그래프 완성(KBC)을 위한 새로운 분류 기반 평가 프레임워크를 제안한다. 엔티티 제거 또는 유형 제약 조건으로 인해 진짜 답변이 누락된 쿼리를 포함한 FB14k-QAQ 데이터셋을 구축함으로써, 순위 기반 성능이 뛰어난 모델이라도 실제 사실 예측에는 일반화가 잘 되지 않을 수 있음을 입증한다. 관계별 영역을 적용한 수정된 TransE 모델은 표준 TransE 대비 F1 점수를 30퍼센트 이상 향상시켰으며, 이는 KBC 모델에서 더 나은 예측 분리도가 필요하다는 것을 시사한다.

ABSTRACT

Knowledge base completion (KBC) methods aim at inferring missing facts from the information present in a knowledge base (KB) by estimating the likelihood of candidate facts. In the prevailing evaluation paradigm, models do not actually decide whether a new fact should be accepted or not but are solely judged on the position of true facts in a likelihood ranking with other candidates. We argue that consideration of binary predictions is essential to reflect the actual KBC quality, and propose a novel evaluation paradigm, designed to provide more transparent model selection criteria for a realistic scenario. We construct the data set FB14k-QAQ where instead of single facts, we use KB queries, i.e., facts where one entity is replaced with a variable, and construct corresponding sets of entities that are correct answers. We randomly remove some of these correct answers from the data set, simulating the realistic scenario of real-world entities missing from a KB. This way, we can explicitly measure a model's ability to handle queries that have more correct answers in the real world than in the KB, including the special case of queries without any valid answer. The latter especially contrasts the ranking setting. We evaluate a number of state-of-the-art KB embeddings models on our new benchmark. The differences in relative performance between ranking-based and classification-based evaluation that we observe in our experiments confirm our hypothesis that good performance on the ranking task does not necessarily translate to good performance on the actual completion task. Our results motivate future work on KB embedding models with better prediction separability and, as a first step in that direction, we propose a simple variant of TransE that encourages thresholding and achieves a significant improvement in classification F1 score relative to the original TransE.

연구 동기 및 목표

• 순위 기반 KBC 평가와 실제 세계의 사실 예측 사이의 괴리를 해결하기 위해, 모델이 새로운 사실을 수용할지 거부할지 결정해야 하는 상황을 고려한다.
• 순위 성능을 우선시하는 현재의 평가 프레임워크가 바이너리 분류 정확도를 간과하고 있음을 규명한다.
• 엔티티 누락 또는 유형 위반으로 인해 유효한 답변이 없는 쿼리가 포함된 현실적인 벤치마크를 개발한다.
• 더 나은 예측 분리도와 내재된 임계치 설정 능력을 갖춘 KBC 모델에 대한 연구를 촉진한다.
• 실제 배포 조건을 반영하는 새로운 분류 중심 메트릭을 통해 최신 KBC 모델의 성능을 평가한다.

제안 방법

• 지식 기반 쿼리에서 엔티티를 변수로 대체하고 일부 정답을 제거하여 실제 세계의 누락된 데이터를 시뮬레이션하는 FB14k-QAQ 데이터셋을 구축한다.
• 두 가지 유형의 음성 쿼리 생성: (1) 제거된 엔티티로 인해 유효한 답변이 없는 쿼리, (2) 유형 제약 조건을 위반하는 쿼리.
• 결과 테스트 세트에 대해 이진 분류 메트릭—특히 F1 점수—를 사용하여 모델 성능을 평가하여 진짜 사실과 거짓 사실을 구분하는 능력을 측정한다.
• 임베딩 공간에서 관계별 타원 영역을 정의하기 위해 관계별 대각 행렬을 사용하는 수정된 TransE 모델인 Region을 도입한다. 이는 더 나은 예측 분리도를 위해 설계되었다.
• Region 모델의 거리 함수에 기반한 임계치 설정 메커니즘을 도입하여 점수를 이진 예측으로 변환한다.
• 모델을 전역 임계치와 다수의 관계별 임계치 설정으로 평가하여 관계 간의 강건성과 일반화 능력을 분석한다.

실험 결과

연구 질문

• RQ1 MRR와 같은 높은 순위 기반 메트릭 성능이 실제 지식 기반 완성에서 바이너리 수락/거부 결정을 내려야 하는 상황에서 강력한 성능을 보장하는가?
• RQ2 유효한 답변이 없는 쿼리가 포함된 분류 기반 벤치마크에서 최신 KBC 모델의 성능은 어떠한가?
• RQ3 예측 분리도를 향상시키는 단순한 TransE 수정이 분류 성능을 크게 향상시킬 수 있는가?
• RQ4 현재의 스코어링 함수가 관계 간 일관된 임계치 설정을 지원하지 못하는 정도는 어느 정도이며, 이는 모델의 신뢰성에 어떤 영향을 미치는가?
• RQ5 전역 임계치와 다중 임계치 설정 간의 성능 격차는 KBC 모델의 확장성과 강건성에 어떤 영향을 미치는가?

주요 결과

• 관계별 영역을 적용한 수정된 TransE 모델인 Region은 전역 임계치 설정 시 표준 TransE 대비 32.4%의 상대적 F1 점수 향상을 달성했으며, 다중 임계치 설정 시에는 36.8% 향상되었다.
• 순위 기반 메트릭과 분류 기반 메트릭 간 성능 격차는 크다: 높은 MRR를 기록하는 모델일수록 F1 점수가 낮은 경향이 있어, 순위 성공이 신뢰할 수 있는 사실 예측을 의미하지는 않음을 시사한다.
• 성능 향상의 대부분은 유효한 답변이 없는 쿼리(예: 누락된 엔티티)에서 발생하여, 새로운 벤치마크가 일반화 능력의 약점을 효과적으로 드러내고 있음을 입증한다.
• 순위 파라디그마에 따라 훈련된 모델들은 종종 잘 校정되지 않은 점수를 생성하여 전역 임계치 설정이 관계 간에 어렵고 신뢰할 수 없게 만든다.
• 결과는 예측 분리도를 향상시키는 것—예를 들어 Region 모델처럼 아키텍처 수정을 통해—가 강건하고 실제 적용 가능한 KBC 시스템을 구축하는 데 핵심적임을 확인한다.
• 새로운 평가 프레임워크는 현재 모델들이 실제로 사실 완성 작업을 위해 최적화되어 있지 않음을 드러내며, 순수한 순위 매기기보다는 신뢰할 수 있는 바이너리 결정이 필요하다.