[논문 리뷰] A Survey on Retrieval-Augmented Text Generation

Huayang Li, Yixuan Su외 3명|arXiv (Cornell University)|2022. 02. 02.

Topic Modeling인용 수 70

한 줄 요약

검색 기반 보강 텍스트 생성에 대한 포괄적 고찰로, 패러다임, 소스, 지표, 통합 방법 및 대화, 번역 및 기타 작업에서의 응용과 향후 방향을 제시한다.

ABSTRACT

Recently, retrieval-augmented text generation attracted increasing attention of the computational linguistics community. Compared with conventional generation models, retrieval-augmented text generation has remarkable advantages and particularly has achieved state-of-the-art performance in many NLP tasks. This paper aims to conduct a survey about retrieval-augmented text generation. It firstly highlights the generic paradigm of retrieval-augmented generation, and then it reviews notable approaches according to different tasks including dialogue response generation, machine translation, and other generation tasks. Finally, it points out some important directions on top of recent methods to facilitate future research.

연구 동기 및 목표

• 검색 기반 보강 텍스트 생성을 위한 검색 소스, 지표, 통합 방법으로 구성된 일반 프레임워크를 제시한다.
• 대화 응답 생성, 기계 번역 및 기타 생성 작업을 포함한 주요 NLP 과제에서 주목할 만한 접근 방법을 고찰한다.
• 제한점을 분석하고 검색 기반 보강 생성 분야의 향후 연구를 이끌어줄 유망한 방향을 제시한다.

제안 방법

• 메모리에서 검색된 쌍을 포함하는 z로 y = f(x, z)로 검색 기반 보강 생성 문제를 형식화한다.
• 검색 소스를 학습 코퍼스, 외부 데이터, 비지도 데이터로 분류한다.
• 희박도, 밀집 및 작업 특화 검색에 걸친 검색 지표를 검토한다.
• 데이터 증강, 주의(attention) 기반 융합, 스켈터 추출을 포함한 통합 전략을 고찰한다.
• 대화 응답 생성 및 기계 번역에서의 작업 특이적 구현뿐만 아니라 요약 및 코드 생성과 같은 기타 작업도 논의한다.

실험 결과

연구 질문

• RQ1 검색 기반 보강 텍스트 생성의 일반 패러다임은 무엇이며 핵심 구성 요소는 무엇인가?
• RQ2 검색 소스, 검색 지표, 통합 방법이 다양한 NLP 과제에 어떻게 적용되어 왔는가?
• RQ3 대화 및 번역에서의 현재 검색 기반 보강 접근의 주요 한계는 무엇이며 어떤 향후 방향이 유망한가?
• RQ4 검색 기반 보강 기법을 다른 작업 및 다중 모달 환경으로 어떻게 확장할 수 있는가?

주요 결과

• 검색 기반 보강 생성은 명시적으로 검색된 메모리를 보조 또는 가이드로 활용하여 확장성과 외부 지식 접근성을 제공한다.
• 주요 세 가지 구성 요소는 검색 소스, 검색 지표, 통합 방법이며, 이는 대화, 번역 및 기타 작업에 대해 작업에 맞게 조정된다.
• 대화 시스템은 예시 검색과 지식 기반화의 혜택을 받고, 번역 기억은 SMT와 NMT를 다양한 통합 전략을 통해 향상시킨다.
• SMT와 NMT의 번역 기억 접근은 표면 어휘 유사성에 의존하는 한계와 검색과 생성을 공동 최적화하는 어려움을 보여준다.
• 다중 모달성, 검색 풀의 데이터 다양성, 그리고 작업 특화 혹은 제어 가능한 검색 지표 학습 등 광범위한 기회가 있다.