[논문 리뷰] Contextualized Representations Using Textual Encyclopedic Knowledge

Mandar Joshi, Kenton Lee외 2명|arXiv (Cornell University)|2020. 04. 24.

Topic Modeling참고 문헌 52인용 수 23

한 줄 요약

이 논문은 입력 텍스트를 언급된 실체에 관한 동적 검색된 위키백과 문장과 함께 공동으로 맥락화하는 TEK-강화 표현을 제안한다. 사전 훈련된 BERT 스타일 모델을 사용하여, 텍스트 기반 백과지식을 통합하고 지식 보강된 입력에서 자기지도 사전 훈련을 통해 최적화함으로써, 독해력 테스트에서 최신 기술 수준의 성능을 달성한다. TriviaQA에서는 F1 점수를 1.6–3.1 향상시키고, 비도메인 MRQA 데이터셋에서는 1.1–4.2 향상시킨다.

ABSTRACT

We present a method to represent input texts by contextualizing them jointly with dynamically retrieved textual encyclopedic background knowledge from multiple documents. We apply our method to reading comprehension tasks by encoding questions and passages together with background sentences about the entities they mention. We show that integrating background knowledge from text is effective for tasks focusing on factual reasoning and allows direct reuse of powerful pretrained BERT-style encoders. Moreover, knowledge integration can be further improved with suitable pretraining via a self-supervised masked language model objective over words in background-augmented input text. On TriviaQA, our approach obtains improvements of 1.6 to 3.1 F1 over comparable RoBERTa models which do not integrate background knowledge dynamically. On MRQA, a large collection of diverse QA datasets, we see consistent gains in-domain along with large improvements out-of-domain on BioASQ (2.1 to 4.2 F1), TextbookQA (1.6 to 2.0 F1), and DuoRC (1.1 to 2.0 F1).

연구 동기 및 목표

• 맥락화된 표현에 외부 텍스트 기반 백과지식을 통합하여 독해력 테스트에서 사실 기반 추론 능력을 향상시키기 위해.
• 사전 훈련된 모델이 장기 꼬리형 사실 지식을 포착하는 데 한계가 있음을 해결하기 위해, 관련 위키백과 문장을 동적으로 검색함으로써.
• 구조적 수정 없이도 강력한 사전 훈련된 BERT 스타일 인코더를 직접 재사용할 수 있도록 하기 위해.
• 사전 훈련과 미세조정 입력 간의 분포 불일치를 줄이기 위해, 마스크된 언어 모델링 목표를 사용하여 TEK-보강된 텍스트에서 사전 훈련을 수행함으로써.
• 지식 보강된 표현 학습을 통해 도메인 내 및 도메인 외 질문 응답 벤치마크에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 입력 텍스트(예: 질문과 문장)는 입력에 언급된 실체에 관한 동적으로 검색된 위키백과 문장으로 보강된다.
• 원본 텍스트와 배경 문장 모두 포함된 보강된 입력은 특수 토큰을 사용하여 입력 유형을 구분할 수 있도록 사전 훈련된 RoBERTa 모델로 인코딩된다.
• TEK-보강된 입력에서 사전 훈련 중 마스크된 언어 모델링 목표가 적용되어, 모델의 인도크티브 바이어스를 최종 작업 입력과 일치시킨다.
• 실체 연결 및 n-그램 매칭을 사용하여 관련 위키백과 문장을 검색하며, 검색 기능은 탄력적이고 교체 가능한 구조를 가진다.
• TEK-보강된 입력를 사용하여 추출형 질문 응답 작업에서 엔드 투 엔드로 미세조정된다.
• 추가된 배경 지식에도 불구하고 최대 시퀀스 길이를 늘리지 않음으로써 입력 길이 제약 조건을 유지한다.

실험 결과

연구 질문

• RQ1 맥락화된 표현에 통합될 때, 동적으로 검색된 텍스트 기반 백과지식이 독해력 테스트에서 사실 기반 추론 능력을 향상시킬 수 있는가?
• RQ2 TEK-보강된 입력에서 사전 훈련을 수행하면 사전 훈련과 미세조정 입력 간의 분포 불일치가 감소하여 성능 향상이 이루어지는가?
• RQ3 구조적 수정 없이도 시장에서 유통되는 BERT 스타일 모델이 외부 텍스트 지식을 효과적으로 활용할 수 있는가?
• RQ4 지식 통합은 도메인 내 및 도메인 외 질문 응답 벤치마크에서 성능에 어떤 영향을 미치는가?
• RQ5 검색 품질이 TEK-강화 표현의 효과성에 얼마나 큰 영향을 미치는가?

주요 결과

• TriviaQA에서, 배경 지식을 통합하지 않은 유사한 RoBERTa 모델 대비 F1 점수를 1.6에서 3.1까지 향상시켰다.
• MRQA에서 도메인 내에서는 일관된 성능 향상이 관찰되었으며, 특히 도메인 외부에서 뚜렷한 향상이 있었는데, BioASQ에서는 2.1에서 4.2의 F1 향상, TextbookQA에서는 1.6에서 2.0의 F1 향상, DuoRC에서는 1.1에서 2.0의 F1 향상이 이루어졌다.
• TEK-보강된 입력에서 자기지도 사전 훈련을 수행함으로써 모델 성능이 크게 향상되었으며, 사전 훈련과 미세조정 입력 간의 불일치가 감소했다.
• 원본 텍스트와 배경 문장을 구분할 수 있도록 입력을 포맷팅함으로써, RoBERTa와 같은 강력한 사전 훈련된 인코더를 아키텍처 수정 없이 직접 재사용할 수 있었다.
• 간단한 검색 방법(실체 연결 및 n-그램 매칭)을 사용해도 강력한 성능 향상이 이루어졌으며, 이는 더 정교한 검색 기법을 사용할 경우 향후 성능 향상 가능성을 시사한다.
• 추가된 여러 개의 배경 문장에도 불구하고 입력 길이 제약 조건을 유지하였으며, 최대 시퀀스 길이를 늘릴 필요가 없었다.