[논문 리뷰] Investigations on Knowledge Base Embedding for Relation Prediction and Extraction

Peng Xu, Denilson Barbosa|arXiv (Cornell University)|2018. 02. 06.

Topic Modeling참고 문헌 15인용 수 5

한 줄 요약

이 논문은 관계 예측 및 추출을 위한 지식 기반 임bedding (KBE) 모델—TransE, DistMult, ComplEx—을 평가하며, 관계 예측에서는 뛰어난 성능을 보이지만, 최신 신경 관계 추출 모델과 조합했을 때는 미미한 성능 향상만을 보임을 입증한다. 주요 기여는 기존의 추론 시 후기 융합 전략이 KBE 및 신경 관계 추출 분야의 최근 발전으로 인해 효과가 없음을 밝혀내며, 새로운 통합 방법이 필요함을 제기하는 것임.

ABSTRACT

We report an evaluation of the effectiveness of the existing knowledge base embedding models for relation prediction and for relation extraction on a wide range of benchmarks. We also describe a new benchmark, which is much larger and complex than previous ones, which we introduce to help validate the effectiveness of both tasks. The results demonstrate that knowledge base embedding models are generally effective for relation prediction but unable to give improvements for the state-of-art neural relation extraction model with the existing strategies, while pointing limitations of existing methods.

연구 동기 및 목표

• 기존의 KBE 모델—TransE, DistMult, ComplEx—이 관계 예측 및 추출 작업에 대해 효과적으로 작용하는지 평가하는 것.
• KBE 모델의 관계 예측 및 추출 성능을 보다 정확히 평가하기 위해 더 크고 더 복잡한 새로운 벤치마크를 개발하는 것.
• KBE 표현을 신경 관계 추출 모델과 융합함으로써 성능 향상이 이루어지는지 조사하는 것.
• 현재 KBE와 신경 관계 추출 모델을 융합하는 전략의 한계를 규명하는 것.
• 구조화된 지식 기반 임베딩과 신경 관계 추출 간의 보다 효과적인 통합 방법을 향한 향후 연구를 이끄는 것.

제안 방법

• 연구는 네 가지 기존 벤치마크와 새로 도입된 더 크고 더 복잡한 벤치마크에서 세 가지 KBE 모델—TransE, DistMult, ComplEx—을 평가한다.
• 관계 예측에 대해서는 'Raw' 및 'Filter' 평가 환경에서 Hits@1과 Hits@10 지표를 사용하여 평가한다.
• 관계 추출에 대해서는 신경 관계 추출 점수와 KBE 순위 점수를 가중 평균으로 융합하는 하이브리드 모델을 사용한다: $ S(s,\hat{r}_{s,o},o) = \alpha S_{RE}(\hat{r}_{s,o}|\mathcal{S}) + (1-\alpha)f_{\hat{r}_{s,o}}(s,o) $.
• 하이퍼파rameter $ \alpha \in (0,1] $ 는 텍스트 기반 점수와 지식 기반 점수 간의 균형을 조절하며, $ \alpha=1 $ 은 원래의 신경 모델과 동일하다.
• 기하 평균, 조화 평균, 소프트맥스 변환, 모든 또는 상위 비-NA 예측에 대한 평균화 등 다양한 융합 전략을 테스트한다.
• 다양한 $ \alpha $ 값에서 단일 신경 모델과의 성능 비교를 위해 정밀도-재현율 곡선을 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 기존의 KBE 모델들이 후기 융합 전략을 통해 최신 신경 관계 추출 모델을 효과적으로 향상시킬 수 있는가?
• RQ2 KBE 모델은 새로운 크고 더 복잡한 관계 예측용 벤치마크에서 어떻게 성능을 내는가?
• RQ3 관계 예측에서 KBE 모델의 성능이 뛰어나지만, 왜 기존 융합 전략은 관계 추출 성능 향상에 실패하는가?
• RQ4 현재 추론 시 KBE와 신경 관계 추출을 융합하는 방법의 한계는 무엇인가?
• RQ5 KBE를 관계 추출에 효과적으로 활용하기 위해 어떤 새로운 통합 전략이 필요한가?

주요 결과

• ComplEx는 모든 관계 예측 벤치마크에서 최고의 성능를 보이며, DistMult를 크게 앞서며 데이터셋 간 일관성 또한 뛰어나다.
• TransE는 일부 데이터셋에서 ComplEx와 경쟁적인 성능를 보이며, 링크 예측과 관계 예측 작업 간 내재적 차이를 시사한다.
• KBE 점수와 신경 관계 추출 점수를 융합한 모델의 성능 향상은 극미미하며, 종종 단독으로 사용된 신경 모델보다 성능이 열 劣하다.
• 모든 경우에서 $ \alpha < 1 $ 일 때 융합 모델의 성능이 떨어지며, 이는 KBE 점수를 추가함으로써 신경 모델의 예측 성능이 악화됨을 시사한다.
• 기하 평균, 조화 평균, 소프트맥스 변환, 모든 예측에 대한 평균화 등 대안 융합 전략도 성능 향상에 기여하지 못하고, 때로는 성능을 떨어뜨린다.
• 결과는 최근 KBE 및 신경 관계 추출 분야의 발전으로 인해 기존의 후기 융합 전략이 효과가 없음을 시사하며, 새로운 통합 접근법이 필요함을 보여준다.