[論文レビュー] RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation

Fang-Yuan Xu, Weijia Shi+1 more|ArXiv.org|Oct 6, 2023

Topic Modeling被引用数 10

ひとこと要約

RECOMP は取得した文書を簡潔なテキスト要約に圧縮して（関連がない場合は空になることも）LM に先頭付けすることで、コストを削減し、言語モデリングとオープンドメインQAの性能を維持します。タスク信号で訓練された抽出型と抽象型の2つの圧縮機を含み、選択的な拡張を可能にします。

ABSTRACT

Retrieving documents and prepending them in-context at inference time improves performance of language model (LMs) on a wide range of tasks. However, these documents, often spanning hundreds of words, make inference substantially more expensive. We propose compressing the retrieved documents into textual summaries prior to in-context integration. This not only reduces the computational costs but also relieves the burden of LMs to identify relevant information in long retrieved documents. We present two compressors -- an extractive compressor which selects useful sentences from retrieved documents and an abstractive compressor which generates summaries by synthesizing information from multiple documents. Both compressors are trained to improve LMs' performance on end tasks when the generated summaries are prepended to the LMs' input, while keeping the summary concise.If the retrieved documents are irrelevant to the input or offer no additional information to LM, our compressor can return an empty string, implementing selective augmentation.We evaluate our approach on language modeling task and open domain question answering task. We achieve a compression rate of as low as 6% with minimal loss in performance for both tasks, significantly outperforming the off-the-shelf summarization models. We show that our compressors trained for one LM can transfer to other LMs on the language modeling task and provide summaries largely faithful to the retrieved documents.

研究の動機と目的

• 長い取得文を先頭に付ける場合の retrieval-augmented LMs における効率性の課題を動機づける。
• 入力に適合した簡潔で忠実な要約を生成する抽出型と抽象型の2つの圧縮機を提案する。
• ブラックボックスLMを用いたエンドタスク性能を最適化する訓練方式を開発する。
• 取得が価値を付与しない場合には空の要約を許容して、選択的な拡張を可能にする。
• 圧縮機のLM間での転用性を実証し、忠実性と証拠への依存を分析する。

提案手法

• 圧縮機 c_theta とブラックボックスLM M を用いた RECOMP アーキテクチャを導入する。
• 抽出型圧縮機を開発する：入力との内積に基づいてトップ文を選択するデュアルエンコーダで、簡潔な要約を形成する。
• 抽象型圧縮機を開発する：極端に大規模な LM から蒸留されたエンコーダ-デコーダで、クエリに焦点を当てた要約を生成する。
• 抽出型圧縮機を、選択した文を先頭に付けたときのLM性能を最大化する対照損失で訓練する。
• エクストリームスケールの教師モデルからの蒸留を通じて抽象型圧縮機を訓練し、エンドタスク性能に基づく選択的拡張を導入する。
• QA では、トップ5文の要約を使用するか、タスクごとに選択して効率と有用性のバランスを取る。

Figure 1: An illustration of RECOMP , which compresses retrieved documents into a texual summary before prepending it as input to a language model at inference time. The compressed summary guides the LM to generate the correct answer, while significantly reducing the computation costs required to en

実験結果

リサーチクエスチョン

• RQ1 取得した文書を、LM の先頭付け時にエンドタスクの性能を維持・向上させるように、簡潔な要約へ効果的に圧縮できるか？
• RQ2 抽出型と抽象型の圧縮戦略は、言語モデリングとオープンドメイン QA の間で異なる効率性と有効性のトレードオフを提供するか？
• RQ3 1つのLMで訓練された圧縮機は、再訓練なしに他のLMへ転用できるか？
• RQ4 空の要約を含む選択的拡張は、無関係な取得情報による性能低下を緩和するか？
• RQ5 NQ、TriviaQA、HotpotQA などのタスクで、抽象型要約はどの程度忠実で網羅的か？

主な発見

• 抽出型・抽象型の圧縮機は、全文前提と比較して性能を改善し、oracle設定ではトークンの6%程度まで圧縮可能で、性能低下は最小限。
• 対照損失で訓練された抽出型圧縮機は、BM25/Contriever のベースラインを大幅に上回り、僅かな損失で25%の圧縮を達成。
• 極端に大規模なLMから蒸留された抽象型圧縮機は最良の圧縮を実現し、一般に高い性能を発揮し、選択的拡張により約3分の1の例に要約を先頭付けする。
• オープンドメインQAの結果は、取得なしより改善を示し、選択的拡張の恩恵を受ける。抽出型手法が多段階のHotpotQAで抽象型を上回ることが多い。
• 圧縮機の転移はLM間で観察される（例: GPT2 から GPT2-XL/GPT-J へ；ある程度 LLaMA-13B へ）、モデル間の適用性を示す。
• 手動による忠実性・網羅性分析では、GPT-3.5 の要約は一般により忠実だが、我々の抽象型圧縮機はデータセット次第で忠実性が低くなる一方、網羅性が高くなることがある。

Figure 4: Histogram of abstractive summary length (# tokens) distribution.