[논문 리뷰] Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory

Xin Cheng, Di Luo외 4명|arXiv (Cornell University)|2023. 05. 03.

Topic Modeling인용 수 21

한 줄 요약

Selfmem은 자신의 출력으로부터 무한한 메모리 풀을 반복적으로 생성하고 이를 위한 메모리 선택기를 사용하여 다음 생성 라운드를 위한 메모리를 선택하는 회귀 강화 생성기(retrieval-augmented generator)를 도입하여 번역, 요약, 대화 과제에서 최첨단 성능을 달성합니다.

ABSTRACT

With direct access to human-written reference as memory, retrieval-augmented generation has achieved much progress in a wide range of text generation tasks. Since better memory would typically prompt better generation~(we define this as primal problem). The traditional approach for memory retrieval involves selecting memory that exhibits the highest similarity to the input. However, this method is constrained by the quality of the fixed corpus from which memory is retrieved. In this paper, by exploring the duality of the primal problem: better generation also prompts better memory, we propose a novel framework, selfmem, which addresses this limitation by iteratively employing a retrieval-augmented generator to create an unbounded memory pool and using a memory selector to choose one output as memory for the subsequent generation round. This enables the model to leverage its own output, referred to as self-memory, for improved generation. We evaluate the effectiveness of selfmem on three distinct text generation tasks: neural machine translation, abstractive text summarization, and dialogue generation, under two generation paradigms: fine-tuned small model and few-shot LLM. Our approach achieves state-of-the-art results in four directions in JRC-Acquis, XSum (50.3 ROUGE-1), and BigPatent (62.9 ROUGE-1), demonstrating the potential of self-memory in enhancing retrieval-augmented generation models. Furthermore, we conduct thorough analyses of each component in the selfmem framework to identify bottlenecks and provide insights for future research.

연구 동기 및 목표

• 고정된 코퍼스의 메모리 한계 문제를 다루며 회수 증강 생성의 필요성을 제시합니다.
• Selfmem을 제안하여 무한한 자기 메모리(self-memory)를 생성하고 연속 라운드를 위한 최적의 메모리를 선택하는 메모리 선택기를 사용합니다.
• 소형 모델 미세조정 및 소수-shot LLM 설정에서 신경망 기계 번역, 추상적 요약, 대화 생성에 대해 Selfmem을 평가합니다.
• 구성 요소 병목 현상을 분석하고 향후 회수 증강 생성 연구를 위한 통찰을 제공합니다.

제안 방법

• 더 나은 메모리가 생성 품질을 향상시키고 더 나은 생성이 더 나은 메모리(self-memory)를 만들어 낸다는 프라이멀-듀얼 관점을 도입합니다.
• 회수 증강 생성기와 메모리 선택기라는 두 구성요소를 갖춘 Selfmem을 제안합니다.
• 수집된 메모리로 학습된 고정된 생성기 또는 컨텍스트 내 학습 LLM을 사용하고, 메모리 선택기가 평가하는 후보 풀(candidate pool)을 생성합니다.
• 메모리 선택기 S_theta를 훈련시켜 후보 점수가 모델-자유 지표 Delta(예: MT의 BLEU, 요약의 ROUGE)와 일치하도록 맞춥니다.
• 다음 생성 라운드를 위한 메모리 형성을 위해 생성된 후보들 중에서 메모리를 반복적으로 업데이트하여 무한한 메모리 루프를 가능하게 합니다.

Figure 1 : Relation between memory and hypothesis on JRC-Acquis En $\rightarrow$ De dataset. The hypothesis is generated by a retrieval-augmented translator whose memory is retrieved from the training set. The X-axis represents the similarity between memory and the reference.

실험 결과

연구 질문

• RQ1 자가 생성 메모리(self-generated memory, self-memory)를 활성화하는 것이 고정 코퍼스 메모리 대비 회수 증강 생성의 성능을 향상시키나요?
• RQ2 모델-자유 Delta로 훈련된 메모리 선택기가 다운스트림 생성 품질을 극대화하는 메모리를 효과적으로 선택할 수 있나요?
• RQ3 Selfmem은 소형-튜닝 모델과 소수-shot LLM 설정하에서 번역, 요약, 대화 과제에 대해 어떻게 성능을 발휘하나요?

주요 결과

• Selfmem은 JRC-Acquis 번역 데이터셋에서 네 방향으로 최첨단 성능을 달성합니다.
• Selfmem은 추상적 요약에서 XSum에 대해 50.3 ROUGE-1, BigPatent에 대해 62.9 ROUGE-1을 달성합니다.
• 자가 메모리(self-memory)는 다수의 데이터셋 방향에 걸쳐 회수 메모리만으로도 번역 품질을 향상시킵니다.
• 소수-shot 인-context 학습에서 더 큰 LLM들이 self-memory를 사용하면 무작위 또는 kNN 시범보다 향상된 성능을 보이나 여전히 감독된 기준선에 미치지 못합니다.
• 분석은 병목 현상과 self-memory의 유리한 조건을 식별하여 향후 연구를 안내합니다.

Figure 2 : Overall framework. There are two components in Selfmem , a retrieval-augmented generator (a) and a memory selector (b). For the primal problem, (a) takes source and memory as input to generate candidates for (b). For the dual problem, (b) takes as input source and generated candidates to