[논문 리뷰] Jointly Embedding Relations and Mentions for Knowledge Population

Miao Fan, Kai Cao외 2명|arXiv (Cornell University)|2015. 04. 07.

Topic Modeling참고 문헌 15인용 수 6

한 줄 요약

이 논문은 지식 기반의 실체, 관계 및 텍스트 언급의 저차원 벡터 표현을 동시에 학습함으로써 구조화된 지식과 비구조화된 텍스트 간의 통합 표현 학습을 가능하게 하는 공동 관계 언급 임베딩(JRME) 모델을 제안한다. 이 모델은 IIKE 및 TME와 같은 기존 방법에 비해 NELL 데이터셋에서 평균 순위를 20% 감소시키고 Hit@10 및 Hit@1 점수를 향상시키며 최신 기술 수준에 도달한다.

ABSTRACT

This paper contributes a joint embedding model for predicting relations between a pair of entities in the scenario of relation inference. It differs from most stand-alone approaches which separately operate on either knowledge bases or free texts. The proposed model simultaneously learns low-dimensional vector representations for both triplets in knowledge repositories and the mentions of relations in free texts, so that we can leverage the evidence both resources to make more accurate predictions. We use NELL to evaluate the performance of our approach, compared with cutting-edge methods. Results of extensive experiments show that our model achieves significant improvement on relation extraction.

연구 동기 및 목표

• 관계 추출에서 구조화된 지식 기반과 비구조화된 자유 텍스트 간 격차를 해소하기 위해.
• 지식 저장소와 텍스트 언급 간 이질성으로 인해 증거 공유가 제한되는 문제를 해결하기 위해.
• 실체, 관계 및 언급 단어의 임베딩을 공동으로 학습하여 관계 예측 정확도를 향상시키기 위해.
• NELL의 자동 생성된 언급에서 유도된 지식 기반 삼항관계와 텍스트 증거를 모두 활용하기 위해.
• 다양한 평가 프로토콜 하에서 기존 최신 기술 수준의 방법을 뛰어넘기 위해.

제안 방법

• 지식 삼항관계의 실체, 관계 및 텍스트 관계 언급의 단어에 대해 공통된 저차원 벡터 표현을 학습하는 공동 임베딩 모델(JRME)을 제안한다.
• 공동 임베딩 공간을 최적화하기 위해 마진 기반 손실 함수를 사용하며, 지식 기반 임베딩(KBE), 텍스트 기반 언급 임베딩(TME), 공동 모델(JRME)에 대해 각각 별도의 마진을 설정한다.
• 두 실체와 그 관계 간의 유사도를 벡터 연산을 통해 모델링하는 통합된 임베딩 공간을 적용한다.
• 지식 기반 신뢰도와 해당하는 텍스트 언급을 조합하여 NELL-50K 및 NELL-5M 두 개의 NELL 데이터셋에서 학습한다.
• 초기화된 하이퍼파라미터를 튜닝하기 위해 검증 세트를 사용한다: 차원 d=100, 마진 α=1.0, β=1.0, γ=2.0.
• 관계 예측 성능 평가에 랭킹 기반 지표(평균 순위, Hit@10, Hit@1)를 사용한다.

실험 결과

연구 질문

• RQ1 지식 기반 삼항관계와 텍스트 관계 언급의 공동 임베딩 학습이 관계 추출 정확도 향상에 기여하는가?
• RQ2 삼항관계 기반 모델이나 텍스트 기반 모델에 비해 언급에서 유도된 텍스트 증거의 통합이 성능 향상에 얼마나 기여하는가?
• RQ3 TransE, KRE, TME, IIKE와 같은 최신 기술 수준의 방법에 비해 제안된 JRME 모델이 관계 예측 과제에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 특히 NELL-5M와 같은 대규모 데이터셋에서 노이즈와 스케일에 대해 모델의 강건성은 어떠한가?
• RQ5 통합된 벡터 공간 표현이 구조화된 데이터와 비구조화된 데이터 간의 정보 압축 및 교환을 효과적으로 수행할 수 있는가?

주요 결과

• NELL-50K 데이터셋에서 JRME는 평균 순위 6.2를 기록하여 IIKE(7.5) 및 TME(11.5)를 모두 앞서며 최저 기록을 달성한다.
• NELL-5M에서 JRME는 평균 순위 3.0을 기록하여 TransE(77.1) 및 KRE(57.5)보다 뚜렷이 낮게 기록한다.
• NELL-50K에서 JRME는 Hit@10을 87.8%까지 향상시켰고, NELL-5M에선 96.7%를 기록하여 IIKE(81.8% 및 82.6%) 및 TME(80.0% 및 96.3%)를 초월한다.
• NELL-50K에서 JRME는 Hit@1 점수 60.2%를 기록하고 NELL-5M에선 68.0%를 달성하여 IIKE(56.8% 및 53.2%) 및 TME(56.0% 및 63.6%)를 뛰어넘는다.
• 모델은 노이즈와 스케일에 대해 강건성을 보이며, 중간 규모(NELL-50K) 및 대규모(NELL-5M) 데이터셋 모두에서 높은 성능을 유지한다.
• 텍스트 언급과 지식 기반 관계의 공동 학습으로 인해 IIKE 모델에 비해 평균 순위에서 20%의 상대적 향상이 이루어졌다.