[논문 리뷰] Joint Retrieval and Generation Training for Grounded Text Generation.

Yizhe Zhang, Siqi Sun외 6명|arXiv (Cornell University)|2021. 05. 14.

Topic Modeling참고 문헌 41인용 수 10

한 줄 요약

이 논문은 병행 검색-생성 데이터가 필요 없이 근거 기반 텍스트 생성을 가능하게 하는 공동 검색-생성 학습 프레임워크를 제안한다. 언어 모델 신호를 활용하여 Mixture-of-Experts 앙상블을 사용해 검색기와 생성기를 공동으로 학습함으로써, 모델은 유용성 최적화 문서를 검색하고, 사실적으로 근거가 있는, 맥락에 부합하는 텍스트를 서사 및 대화 작업 모두에서 생성할 수 있게 된다.

ABSTRACT

Recent advances in large-scale pre-training such as GPT-3 allow seemingly high quality text to be generated from a given prompt. However, such generation systems often suffer from problems of hallucinated facts, and are not inherently designed to incorporate useful external information. Grounded generation models appear to offer remedies, but their training typically relies on rarely-available parallel data where corresponding information-relevant documents are provided for context. We propose a framework that alleviates this data constraint by jointly training a grounded generator and document retriever on the language model signal. The model learns to reward retrieval of the documents with the highest utility in generation, and attentively combines them using a Mixture-of-Experts (MoE) ensemble to generate follow-on text. We demonstrate that both generator and retriever can take advantage of this joint training and work synergistically to produce more informative and relevant text in both prose and dialogue generation.

연구 동기 및 목표

• 근거 기반 생성 모델 학습 시 병행 검색-생성 데이터의 부족 문제를 해결하기 위해.
• 생성 중 외부 지식 검색을 통합함으로써 대규모 언어 모델의 환각 현상을 줄이기 위해.
• 단지 자동회귀 언어 모델 신호만을 사용해 검색기와 생성기를 상호보완적으로 학습시키기 위해.
• 검색 및 생성 구성 요소를 공동 최적화함으로써 사실 일치성과 관련성을 향상시키기 위해.
• 이 프레임워크가 개방형 서사 및 대화 생성 작업 모두에서 효과적임을 입증하기 위해.

제안 방법

• 병행 검색-생성 애너테이션의 필요 없이, 자동회귀 언어 모델 목표만을 사용해 검색기와 생성기를 공동으로 학습한다.
• 검색기는 언어 모델 신호를 유용성의 대체 지표로 삼아, 참값 생성의 가능성을 최대화하는 문서를 검색하도록 학습한다.
• 생성기는 Mixture-of-Experts (MoE) 아키텍처를 사용해 다수의 검색된 문서를 동적으로 참조하고 통합한다.
• 마스크된 언어 모델링을 통해 검색 및 생성을 동시에 최적화하는 단일 통합 목표를 사용한다.
• 검색 품질이 직접적으로 생성의 유창성과 사실 정확도를 향상시키는 엔드 투 엔드 학습을 가능하게 한다.
• 약한 정렬 또는 병행 데이터에 의존하지 않고, 언어 모델의 자동회귀 능력을 활용해 검색을 암묵적으로 지도함으로써 학습을 유도한다.

실험 결과

연구 질문

• RQ1 병행 검색-생성 데이터가 없이도 근거 기반 생성 모델을 효과적으로 학습시킬 수 있는가?
• RQ2 검색 및 생성의 공동 학습이 생성 텍스트의 사실 일치성과 관련성에 어떻게 기여하는가?
• RQ3 언어 모델 신호만으로도 효과적인 문서 검색을 이끌 수 있는가?
• RQ4 Mixture-of-Experts 아키텍처가 검색된 문서 통합에 어떻게 기여하는가?
• RQ5 이 공동 프레임워크는 서사 및 대화와 같은 다양한 생성 작업에 일반화될 수 있는가?

주요 결과

• 공동 학습 프레임워크는 기준 모델 대비 생성 텍스트의 사실 일치성과 관련성을 크게 향상시킨다.
• 명시적 지도 없이도 병행 데이터 없이도 검색기는 유용성이 높은 문서를 식별하는 데 성공한다.
• 생성기는 검색된 문서의 도움을 받아 더 정보가 풍부하고 맥락에 부합하는 출력을 생성한다.
• Mixture-of-Experts 메커니즘은 생성 중에 다수의 검색된 문서를 효과적이고 동적으로 통합할 수 있게 한다.
• 모델는 개방형 텍스트 생성 및 대화 작업 모두에서 뛰어난 성능을 보이며, 도메인 간 일반화 능력을 입증한다.
• 병행 학습 데이터 없이도 검색된 증거에 기반해 생성을 근거화함으로써 환각 현상을 줄인다.