[논문 리뷰] Language Models as Knowledge Bases: On Entity Representations, Storage Capacity, and Paraphrased Queries

Benjamin Heinzerling, Kentaro Inui|arXiv (Cornell University)|2020. 08. 20.

Topic Modeling참고 문헌 58인용 수 11

한 줄 요약

이 논문은 대규모 언어 모델(LM)을 확장 가능하고 자연어 접근이 가능한 지식 기반으로 사용하는 것의 가능성을 조사한다. 이를 위해 기호적, 표면 형태, 연속형 임베딩의 세 가지 엔티티 표현 방법을 제안하여 수백만 개의 엔티티와 사실을 저장할 수 있도록 한다. 모델은 최대 500만 개의 Wikidata 삼중항을 79%의 정확도로 기억하며, 제로샷 및 희소 few-shot 설정에서도 약어화된 질의에 대해 지식을 효과적으로 전이함으로써, 자연어 질의에 적합한 기존의 구조화된 지식 기반(KB)의 대안으로 언어 모델을 입증한다.

ABSTRACT

Pretrained language models have been suggested as a possible alternative or complement to structured knowledge bases. However, this emerging LM-as-KB paradigm has so far only been considered in a very limited setting, which only allows handling 21k entities whose single-token name is found in common LM vocabularies. Furthermore, the main benefit of this paradigm, namely querying the KB using a variety of natural language paraphrases, is underexplored so far. Here, we formulate two basic requirements for treating LMs as KBs: (i) the ability to store a large number facts involving a large number of entities and (ii) the ability to query stored facts. We explore three entity representations that allow LMs to represent millions of entities and present a detailed case study on paraphrased querying of world knowledge in LMs, thereby providing a proof-of-concept that language models can indeed serve as knowledge bases.

연구 동기 및 목표

• 기존의 LM-as-KB 접근 방식이 어휘 제약으로 인해 약 21,000개의 엔티티만 처리할 수 있는 한계를 해결하기 위해.
• 수백만 개의 엔티티로 확장 가능한 언어 모델을 위해 세 가지 엔티티 표현 방법의 평가 및 비교를 위해.
• 합성 데이터를 사용하여 현재의 LM 아키텍처에서 세계 지식 사실의 저장 용량을 경험적으로 추정하기 위해.
• 약어화된 질의, 특히 제로샷 및 희소 few-shot 전이 상황에서의 지식 검색의 강건성에 대해 조사하기 위해.
• 언어 모델이 기능적이고 자연어로 접근 가능한 지식 기반으로 기능할 수 있음을 입증하는 개념적 증명을 제공하기 위해.

제안 방법

• 기호적(언어 모델 어휘 확장), 표면 형태(서브워드로 인코딩된 이름과 시퀀스 디코더), 연속형(미리 학습된 특징에서 학습된 임베딩)의 세 가지 엔티티 표현 전략을 제안한다.
• 합성 관계 삼중항(주어-서술어-목적어)을 사용하여 언어 모델이 주어와 서술어를 입력으로 받아 목적어 토큰을 예측하도록 훈련함으로써 지식 기반 저장을 시뮬레이션한다.
• 기본 언어 모델로 RoBERTa-base를 사용하고, 다양한 크기의 합성 지식 그래프에서 훈련하여 기억 정확도를 측정한다.
• 특성별 자동에코더를 적용하여 Wikidata 특징(텍스트, 정량적, 유형)에서 조밀한 엔티티 임베딩을 학습하고, 이를 64차원 벡터로 압축한다.
• 제로샷 및 희소 few-shot 전이 평가를 위해 약어화된 질의를 생성하고, 질의 변형에 대해 미세조정 없이 또는 소량의 미세조정을 통해 모델 성능을 측정한다.
• 코사인 유사도 손실을 사용하여 단위 초구면 상에서 엔티티 임베딩을 학습함으로써 안정적인 최적화와 더 나은 기억 성능을 확보한다.

실험 결과

연구 질문

• RQ1 기존 어휘 제한을 초월해 수백만 개의 엔티티를 포함하는 사실을 효과적으로 저장하고 검색할 수 있는가?
• RQ2 현재의 언어 모델 아키텍처에서 사실 저장 용량의 상한선은 무엇이며, 모델 크기에 따라 어떻게 스케일링되는가?
• RQ3 미세조정 없이(제로샷) 또는 소량의 미세조정으로(희소 few-shot) 약어화된 질의에 대해 얼마나 잘 일반화되는가?
• RQ4 다양한 엔티티 표현 방법은 정확도, 효율성, 데이터 요구량 측면에서 어떻게 상호 보완되는가?
• RQ5 지식 그래프의 구조적 유형(예: Erdos-Renyi 대비 Barabasi-Albert)이 언어 모델 내에서의 기억 가능성에 영향을 미치는가?

주요 결과

• 1,250만 파라미터의 트랜스포머 모델은 100만 개의 Wikidata 삼중항을 95% 정확도로 기억하거나 500만 개를 79% 정확도로 기억할 수 있어 더 큰 모델로의 확장 가능성을 시사한다.
• 기호적 엔티티 표현 방식은 가장 높은 기억 정확도를 달성하지만, 엔티티 연결 훈련 데이터가 필요하고 계산 비용이 높다.
• 표면 형태 표현 방식은 계산적으로 효율적이며 엔티티 연결 데이터가 필요하지 않지만, 더 긴 엔티티 이름에서는 정확도가 떨어진다.
• 사전 학습된 특징 인코더와 고정 임베딩을 함께 사용할 경우 연속형 엔티티 임베딩은 효율성과 정확도 사이의 좋은 균형을 이룬다.
• 제로샷 전이에서는 매우 유사한 변형에 대해 효과적이며, 희소 미세조정(5~100개 예제)을 통해 덜 유사한 질의에 대해서도 강력한 검색 기능을 제공한다.
• 같은 파rameter 예산 하에서 스케일프리(Scale-free) 구조(Barabasi-Albert) 지식 그래프가 균일한(Erdos-Renyi) 그래프보다 기억하기 더 어렵다.