[논문 리뷰] Latent Relation Language Models

Hiroaki Hayashi, Zecong Hu외 2명|arXiv (Cornell University)|2019. 08. 21.

Topic Modeling참고 문헌 56인용 수 6

한 줄 요약

이 논문은 잠재 변수를 통해 지식 그래프에서 단어 수준의 어휘와 실체 스파이크 간에 선택함으로써 텍스트를 생성하는 조건부 언어 모델인 잠재 관계 언어 모델(Latent Relation Language Models, LRLMs)을 소개한다. 이러한 잠재 관계에 대해 근사적으로 통합함으로써 LRLMs는 언어 모델링 성능을 햖थ하고 실체 연결을 위한 해석 가능한 사후 확률을 제공하며, 위키백과 기반 텍스트 생성 작업에서 표준 언어 모델과 이전의 지식 그래프 보강 기반 접근법을 모두 능가한다.

ABSTRACT

In this paper, we propose Latent Relation Language Models (LRLMs), a class of language models that parameterizes the joint distribution over the words in a document and the entities that occur therein via knowledge graph relations. This model has a number of attractive properties: it not only improves language modeling performance, but is also able to annotate the posterior probability of entity spans for a given text through relations. Experiments demonstrate empirical improvements over both a word-based baseline language model and a previous approach that incorporates knowledge graph information. Qualitative analysis further demonstrates the proposed model's ability to learn to predict appropriate relations in context.

연구 동기 및 목표

• 희귀어 및 의미적으로 풍부한 어휘를 위한 언어 모델링을 향상시키기 위해 구조화된 지식 그래프 관계에 조건을 두는 것.
• 신경망 언어 모델이 파rameter 예산 제약으로 인해 저빈도 어휘를 포착하지 못하는 한계를 해결하는 것.
• 관계를 잠재 변수로 모델링하여 텍스트 생성과 실체 연결의 공동 학습을 가능하게 하는 것.
• 문맥 내 실체 스파이크에 대한 해석 가능한 사후 확률을 제공하여 후속 정보 추출 작업을 향상시키는 것.
• 관계 기반 생성 방식이 단어 기반 또는 고정 관계 기반 베이스라인에 비해 성능 향상을 이룬다는 것을 입증하는 것.

제안 방법

• LRLMs는 X가 텍스트이고, Z가 관계-실체 스파이크로 구성된 잠재 시퀀스이며, C가 지식 그래프의 문맥인 연합 확률 P(X, Z | C)를 모델링한다.
• 모델는 어휘 생성과 지식 그래프에서의 관계 선택을 동시에 학습하기 위해 잠재 예측망(Latent Predictor Networks, LPNs)을 사용한다.
• 텍스트 생성은 어휘 수준의 어휘와 지식 그래프 관계에서 유도된 실체 스파이크의 혼합으로 수행되며, 선택은 잠재 변수에 의해 결정된다.
• 잠재 변수 Z에 대한 근사 통합은 학습 및 추론 과정에서 가능한 모든 실체 스파이크와 그에 관련된 관계를 효율적으로 고려할 수 있도록 한다.
• 모델는 주제 실체 s를 중심으로 하는 지식 그래프의 부분 서브그래프에 조건을 두며, s와 직접적으로 관련된 관계와 대상을 추출한다.
• 관계에 대한 사후 확률을 계산하여, 모델이 문맥상 가장 적절하다고 판단하는 관계를 해석하는 데 사용한다.

실험 결과

연구 질문

• RQ1 지식 그래프 관계에 조건을 두는 것이 개방형 어휘 언어 모델링 작업의 성능 향상에 기여하는가?
• RQ2 관계 선택에 잠재 변수를 사용할 경우, 고정 또는 비잠재적 접근 방식과 비교해 퍼즐리티와 생성 품질에 어떤 영향을 미치는가?
• RQ3 잠재 관계의 사후 확률이 신뢰할 수 있는 실체 연결 예측으로 간주될 수 있는 정도는 어느 정도인가?
• RQ4 관계 기반 생성이 희귀어나 저빈도 어휘의 성능 향상에 어떤 기여를 하는가?
• RQ5 사용 가능한 지식 그래프 관계의 풍부함에 따라 모델 성능이 어떻게 변화하는가?

주요 결과

• LRLMs는 표준 어휘 기반 언어 모델과 이전의 지식 그래프 보강 모델(NKLM)보다 낮은 퍼즐리티를 달성하여 언어 모델링 성능 향상의 실증적 증거를 제시한다.
• 사용 가능한 관계 수가 증가할수록 성능 향상 폭이 더 크게 나타나, 더 풍부한 지식 소스에 대해 우수한 확장성을 보인다.
• 잠재 관계에 대한 사후 확률은 인간의 직관과 일치하며, 높은 확률을 가진 관계는 문맥상 의미적으로 적절한 실체 언급과 대응된다.
• 정성적 분석에서 모델은 '미국'에 대해 <origin> 관계를 올바르게 선택하고, 'Sorry'에 대해 마돈나의 경우 <lyrics by> 관계를 정확히 식별함으로써 문맥 이해 능력을 보였다.
• 공통어구인 '미국'과 같은 표현에서는 일반적으로 어휘 수준 생성을 우선으로 하지만, 적절한 경우 관계 기반 생성도 활용할 수 있다.
• 잠재 변수에 대한 근사 통합은 다수의 후보 실체 및 관계 간의 모호함을 해소하는 데 도움을 주며, 특히 고모호도가 높은 환경에서 유의미한 성능 향상을 이룬다.