[論文レビュー] Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory

Xin Cheng, Di Luo+4 more|arXiv (Cornell University)|May 3, 2023

Topic Modeling被引用数 21

ひとこと要約

Selfmemは自らの出力から反復的に無限のメモリプールを作成し、次の生成ラウンドの記憶を選択するメモリセレクターを用いる、リトリーバル拡張型生成モデルを導入し、翻訳・要約・対話タスクの最先端の成果を達成します。

ABSTRACT

With direct access to human-written reference as memory, retrieval-augmented generation has achieved much progress in a wide range of text generation tasks. Since better memory would typically prompt better generation~(we define this as primal problem). The traditional approach for memory retrieval involves selecting memory that exhibits the highest similarity to the input. However, this method is constrained by the quality of the fixed corpus from which memory is retrieved. In this paper, by exploring the duality of the primal problem: better generation also prompts better memory, we propose a novel framework, selfmem, which addresses this limitation by iteratively employing a retrieval-augmented generator to create an unbounded memory pool and using a memory selector to choose one output as memory for the subsequent generation round. This enables the model to leverage its own output, referred to as self-memory, for improved generation. We evaluate the effectiveness of selfmem on three distinct text generation tasks: neural machine translation, abstractive text summarization, and dialogue generation, under two generation paradigms: fine-tuned small model and few-shot LLM. Our approach achieves state-of-the-art results in four directions in JRC-Acquis, XSum (50.3 ROUGE-1), and BigPatent (62.9 ROUGE-1), demonstrating the potential of self-memory in enhancing retrieval-augmented generation models. Furthermore, we conduct thorough analyses of each component in the selfmem framework to identify bottlenecks and provide insights for future research.

研究の動機と目的

• 固定コーパスにおけるメモリの有限性に対処することで、リトリーバル拡張型生成を動機付ける。
• Selfmemを提案し、無限に近い自己メモリを生成し、次のラウンドの最良のメモリを選ぶメモリセレクターを用いる。
• 小規模モデルのファインチューニングとFew-shot LLM設定の下で、ニューラル機械翻訳、抽象的要約、および対話生成におけるSelfmemを評価する。
• 構成要素のボトルネックを分析し、今後のリトリーバル拡張型生成研究への洞察を提供する。

提案手法

• プライマル-デューアルの視点を導入：より良いメモリは生成を向上させ、より良い生成はより良いメモリ（自己メモリ）を生み出す。
• リトリーバル拡張生成器とメモリセレクターという2つの要素を備えたSelfmemを提案する。
• 取り出したメモリとともに訓練された固定生成器またはインコンテキスト学習LLMを用い、メモリセレクターが評価する候補プールを生成する。
• メモリセレクターS_thetaを訓練し、候補のスコアをモデルフリーメトリックDelta（例：MTのBLEU、要約のROUGE）と一致させる。
• 生成された候補から選択して次の生成ラウンドのメモリを形成することで、反復的にメモリを更新し、無限大のメモリループを可能にする。

Figure 1 : Relation between memory and hypothesis on JRC-Acquis En $\rightarrow$ De dataset. The hypothesis is generated by a retrieval-augmented translator whose memory is retrieved from the training set. The X-axis represents the similarity between memory and the reference.

実験結果

リサーチクエスチョン

• RQ1 自己生成メモリ（self-memory）を有効にすることは、固定コーパスのメモリよりもリトリーバル拡張生成を改善しますか？
• RQ2 モデルフリーメトリックDeltaで訓練されたメモリセレクターは、下流の生成品質を最大化するメモリを効果的に選択できますか？
• RQ3 Selfmemは、小規模チューニングモデルとFew-shot LLM設定の両方で、翻訳・要約・対話タスクの各場面でどう機能しますか？

主な発見

• SelfmemはJRC-Acquis翻訳データセットで4つの方向で最先端の結果を達成します。
• 抽象的要約では、SelfmemはXSumで50.3 ROUGE-1、BigPatentで62.9 ROUGE-1を達成します。
• 自己メモリは、複数データセット方向に渡って、リトリーバルメモリ単独を超える翻訳品質の向上をもたらします。
• Few-shotインコンテキスト学習では、自己メモリを備えたより大きなLLMが、ランダムまたはkNNデモンストレーションより性能向上を示すが、監督付きベースラインにはまだ及びません。
• 分析はボトルネックと自己メモリに適した条件を特定し、今後の研究の指針を示します。

Figure 2 : Overall framework. There are two components in Selfmem , a retrieval-augmented generator (a) and a memory selector (b). For the primal problem, (a) takes source and memory as input to generate candidates for (b). For the dual problem, (b) takes as input source and generated candidates to