[論文レビュー] Tree of Clarifications: Answering Ambiguous Questions with Retrieval-Augmented Large Language Models

Gangwoo Kim, Sungdong Kim+3 more|arXiv (Cornell University)|Oct 23, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、オープンドメイン質問応答（ODQA）における曖昧な質問に対して、ユーザーの明示的補足なしに、少数の例（5-shot） prompting と外部知識を活用して、再帰的に曖昧性を解消した質問（DQs）の木構造（ToC）を生成するリtrieval増強型フレームワーク「Clarifications の木（ToC）」を提案する。 retrieved パassage を用いて多様な曖昧性の解消経路をガイドし、役立たずな分岐を pruning することで、包括的な長文回答を生成する。ASQA ベンチマークにおいて、完全に教師ありで学習されたモデルを上回る最先端の性能を達成し、Disambig-F1 と Disambig-ROUGE で 5-shot prompting での性能を発揮している。

ABSTRACT

Questions in open-domain question answering are often ambiguous, allowing multiple interpretations. One approach to handling them is to identify all possible interpretations of the ambiguous question (AQ) and to generate a long-form answer addressing them all, as suggested by Stelmakh et al., (2022). While it provides a comprehensive response without bothering the user for clarification, considering multiple dimensions of ambiguity and gathering corresponding knowledge remains a challenge. To cope with the challenge, we propose a novel framework, Tree of Clarifications (ToC): It recursively constructs a tree of disambiguations for the AQ -- via few-shot prompting leveraging external knowledge -- and uses it to generate a long-form answer. ToC outperforms existing baselines on ASQA in a few-shot setup across the metrics, while surpassing fully-supervised baselines trained on the whole training set in terms of Disambig-F1 and Disambig-ROUGE. Code is available at https://github.com/gankim/tree-of-clarifications.

研究の動機と目的

• ユーザーの補足なしに、オープンドメイン質問応答（ODQA）における曖昧な質問（AQs）に対処すること。
• リtrieval を通じて外部知識を統合することで、LLMs が多様な次元の曖昧性や事実の捏造（factual hallucinations）を処理する限界を克服すること。
• 事実の整合性と包括性を保ちながら、AQs の多様な解釈を体系的かつ再帰的に探索する方法を構築すること。
• 元の AQ のすべての妥当な曖昧性を解消した解釈を包括的に扱う長文回答を生成すること。

提案手法

• 曖昧な質問（AQ）に対して、密度型リtrieバルモデルを用いて関連するウィキペディアのパッセージを取得する。
• 取得したパッセージをもとに、少数の例 prompting を適用し、曖昧性の複数の次元を探索するように、曖昧性を解消した質問（DQs）を生成する。
• 各ノードが DQ を表す木構造（ToC）を構築し、曖昧性の解消経路を再帰的に探索可能にする。
• LLMs を用いた自己検証メカニズムを実装し、DQ と取得した文脈の間の事実的整合性を評価し、一貫性のないまたは役立たざる分岐を破棄する。
• 取得した文脈と検証済み DQs を入力として、すべての有効な解釈を統合した長文回答を生成する。
• 二段階のプロセスを採用する：第一に、リtrieval増強型曖昧性解消（RAC）により DQs を生成・pruning する。第二に、曖昧性が解消された質問と文脈を用いて回答生成を行う。

Figure 1: Overview of Tree of Clarifications . (1) relevant passages for the ambiguous question (AQ) are retrieved. (2) leveraging the passages, disambiguated questions (DQs) for the AQ are recursively generated via few-shot prompting and pruned as necessary. (3) a long-form answer addressing all DQ

実験結果

リサーチクエスチョン

• RQ1 ユーザーのインタラクションなしに、リtrieval増強型 LLM フレームワークが、オープンドメイン質問における曖昧性の複数の次元を効果的に探索できるか。
• RQ2 取得したパッセージからの外部知識は、LLMs が多様で事実的整合性のある曖昧性を解消した質問を生成するのをどのようにガイドするか。
• RQ3 リtrieval を組み合わせた少数の例 prompting は、完全に教師ありベースラインと比較して、曖昧な質問に対する長文回答の質をどの程度向上させるか。
• RQ4 木構造的アプローチによる曖昧性の解消は、平坦的または逐次的アプローチと比較して、回答の包括性と事実的整合性を向上させるか。

主な発見

• ToC は 5-shot の設定において ASQA ベンチマークで最先端の性能を達成し、すべての指標で既存の少数の例ベースラインを上回っている。
• ToC の 5-shot 性能は、全訓練セットで学習された完全に教師ありベースラインを 7.3 ポイント（Disambig-F1）と 2.9 ポイント（Disambig-ROUGE）上回っている。
• リtrieval 増強型少数の例 prompting を用いることで、標準的な LLM プロンプトに比べ、事実的整合性と曖昧性解消解釈のカバレッジが顕著に向上した。
• 自己検証メカニズムは、捏造されたまたは一貫性のない曖昧性解消質問を効果的にフィルタリングし、回答の信頼性を向上させた。
• 木構造的アプローチにより、複雑な AQs におけるメダル種別やオリンピック競技の区別といった、多様な次元の曖昧性を体系的に探索できるようになった。
• ToC は、微調整なしにリtrieval 増強型 LLM が高品質な長文回答を生成できることを示しており、特に重要な指標で完全に教師ありモデルを上回っている。