[論文レビュー] A Survey on Retrieval-Augmented Text Generation

Huayang Li, Yixuan Su+3 more|arXiv (Cornell University)|Feb 2, 2022

Topic Modeling被引用数 70

ひとこと要約

リトリーバル強化型テキスト生成の網羅的な調査であり、パラダイム・ソース・指標・統合手法・対話・翻訳・その他のタスクにわたる応用、および将来の方向性を概説する。

ABSTRACT

Recently, retrieval-augmented text generation attracted increasing attention of the computational linguistics community. Compared with conventional generation models, retrieval-augmented text generation has remarkable advantages and particularly has achieved state-of-the-art performance in many NLP tasks. This paper aims to conduct a survey about retrieval-augmented text generation. It firstly highlights the generic paradigm of retrieval-augmented generation, and then it reviews notable approaches according to different tasks including dialogue response generation, machine translation, and other generation tasks. Finally, it points out some important directions on top of recent methods to facilitate future research.

研究の動機と目的

• 検索ソース、指標、統合手法を含むリトリーバル強化型テキスト生成の汎用フレームワークを提示する。
• 対話応答生成、機械翻訳、その他の生成タスクを含む主要なNLPタスクにおける著名なアプローチを調査する。
• 制限を分析し、リトリーバル強化型生成の将来研究を導く有望な方向性を特定する。

提案手法

• 問題を y = f(x, z) として形式化する。ここで z はメモリから取得されたペアを含む。
• 取得源をトレーニングコーパス、外部データ、無監督データに分類する。
• 疎結合・密結合・タスク特異的な取得にわたる取得指標をレビューする。
• データ拡張、注意機構ベースの融合、スケルトン抽出などの統合戦略を調査する。
• 対話応答生成と機械翻訳におけるタスク特異的実装のほか、要約やコード生成などの他のタスクについても議論する。

実験結果

リサーチクエスチョン

• RQ1 リトリーバル強化型テキスト生成の汎用パラダイムは何か、コアコンポーネントは何か。
• RQ2 取得ソース、取得指標、統合手法がさまざまなNLPタスクにどのように適用されてきたか。
• RQ3 対話と翻訳における現在のリトリーバル強化アプローチの主な制限は何か、将来有望な方向性は何か。
• RQ4 リトリーバル強化技術を他のタスクやマルチモーダル設定にどのように拡張できるか。

主な発見

• リトリーバル強化型生成は、生成を補足または指導するために取得されたメモリを明示的に組み込み、スケーラビリティと外部知識へのアクセスを提供する。
• 3つの主要コンポーネントは取得ソース、取得指標、統合手法であり、対話、翻訳、その他のタスクに対してタスク適応される。
• 対話システムは例示的検索と知識の根拠づけから恩恵を受け、翻訳メモリはさまざまな統合戦略を通じて SMT および NMT を改善する。
• SMTとNMTにおける翻訳メモリアプローチは、表面的な語彙的類似性への依存や取得と生成の共同最適化の難題といった制限を明らかにしている。
• マルチモダリティ、取得プールのデータ多様性、およびタスク固有または制御可能な取得指標の学習における広範な機会がある。