[論文レビュー] Efficient Retrieval Augmented Generation from Unstructured Knowledge for Task-Oriented Dialog

David Thulke, Nico Daheim+2 more|arXiv (Cornell University)|Feb 9, 2021

Topic Modeling参考文献 22被引用数 29

ひとこと要約

本論文は、タスク指向対話における非構造化文書からの知識選択に対する2つの効率的な検索戦略を検討し、それらを検索を補強する生成（ Retrieval-Augmented Generation, RAG）と組み合わせて、応答品質を向上させつつ計算時間を削減する。

ABSTRACT

This paper summarizes our work on the first track of the ninth Dialog System Technology Challenge (DSTC 9), "Beyond Domain APIs: Task-oriented Conversational Modeling with Unstructured Knowledge Access". The goal of the task is to generate responses to user turns in a task-oriented dialog that require knowledge from unstructured documents. The task is divided into three subtasks: detection, selection and generation. In order to be compute efficient, we formulate the selection problem in terms of hierarchical classification steps. We achieve our best results with this model. Alternatively, we employ siamese sequence embedding models, referred to as Dense Knowledge Retrieval, to retrieve relevant documents. This method further reduces the computation time by a factor of more than 100x at the cost of degradation in R@1 of 5-6% compared to the first model. Then for either approach, we use Retrieval Augmented Generation to generate responses based on multiple selected snippets and we show how the method can be used to fine-tune trained embeddings.

研究の動機と目的

• API ベースのデータベースを超えて、タスク指向対話のユーザー発話に答えるために非構造化知識を活用する動機づけ。
• リアルタイム制約の中で大規模な文書集合を扱うための効率的な知識検索手法の開発。
• 複数の関連スニペットを条件として応答を生成する Retrieval Augmented Generation の影響を調査。
• ベースラインのワンステージ検索に対する拡張可能な代替として、階層的選択と密な知識検索を評価。

提案手法

• 計算量を削減するために、知識選択を階層的分類問題として定式化する（単一段階の検索と比較して）。
• siameseRoBERTaエンコーダを用いて密な類似度ベースの文書ランキングを得る密知識検索（DKR）を提案。
• 潜在変数 k を介して複数の取得スニペットに条件づけて応答を生成する Retrieval Augmented Generation（RAG）を導入。
• 検出、選択、生成タスクを改善するためのマルチタスクおよびジョイント学習アプローチを探る。
• デコoding戦略（ビームサーチ、 nucleus sampling）とコンテキスト長が生成品質に与える影響を比較。
• MultiWOZ由来の DSTC9 Track 1 データを用いて評価し、ドメイン/エンティティ特有のスニペットと別個のアトラクションドメインを含む。

実験結果

リサーチクエスチョン

• RQ1 大規模な非構造化知識ベースからの知識選択を、精度を犠牲にせずにタスク指向対話のためにどのように効率化できるか？
• RQ2 速度と検索品質の観点で、階層的選択と密な埋め込み検索の間にどのようなトレードオフがあるか？
• RQ3 複数のスニペットが利用可能な場合、Retrieval Augmented Generation は応答性と事実性を改善するか？
• RQ4 検出・選択・生成のサブタスク全体の性能を、ジョイント学習またはマルチタスク学習が改善できるか？
• RQ5 知識検索パラダイムの下で、デコoding戦略と対話文脈長が生成品質にどう影響するか？

主な発見

• 階層的選択は、ベースライン選択より20倍の高速化で高い検索精度を達成し、より高速なリアルタイム応答を可能にする。
• Dense Knowledge Retrieval (DKR) は、階層的選択より100倍超、ベースラインより2500倍超の速度向上を提供し、検証指標は競合的だが新しいドメインへの一般化は弱い。
• Retrieval Augmented Generation（RAG）は複数のスニペットに応答を条件づけることを可能にし、いくつかの例で事実修正とより有益な応答を実現。
• RAGとのジョイント学習は一部指標を改善するが、データセットとタスク間で成果はまちまちである。マルチタスク学習は全体的な利益が限られる。
• より長い対話文脈（最大384トークン）は、短い文脈に比べてR@1を大幅に改善し、知識検索における文脈の重要性を強調する。