[論文レビュー] Baleen: Robust Multi-Hop Reasoning at Scale via Condensed Retrieval

Omar Khattab, Christopher Potts+1 more|arXiv (Cornell University)|Jan 2, 2021

Topic Modeling参考文献 24被引用数 4

ひとこと要約

Baleenは、コンデンセドリトリーブによる検索空間の縮小、複雑なクエリモデリングのための焦点的ラテントインタラクションリトリーバー（FLIPR）、弱教師信号からの有効なホップ順序の学習のためのランダムホップ順序化を用いて、スケーラブルで頑健なマルチホップ推論システムを提案する。これにより、オープンドメイン質問応答および主張検証におけるリトリーブ精度が向上する。Baleenは、2ホップ（HotPotQA）および多数ホップ（HoVer）のベンチマークの両方で最先端の性能を達成する。

ABSTRACT

Multi-hop reasoning (i.e., reasoning across two or more documents) is a key ingredient for NLP models that leverage large corpora to exhibit broad knowledge. To retrieve evidence passages, multi-hop models must contend with a fast-growing search space across the hops, represent complex queries that combine multiple information needs, and resolve ambiguity about the best order in which to hop between training passages. We tackle these problems via Baleen, a system that improves the accuracy of multi-hop retrieval while learning robustly from weak training signals in the many-hop setting. To tame the search space, we propose condensed retrieval, a pipeline that summarizes the retrieved passages after each hop into a single compact context. To model complex queries, we introduce a focused late interaction retriever that allows different parts of the same query representation to match disparate relevant passages. Lastly, to infer the hopping dependencies among unordered training passages, we devise latent hop ordering, a weak-supervision strategy in which the trained retriever itself selects the sequence of hops. We evaluate Baleen on retrieval for two-hop question answering and many-hop claim verification, establishing state-of-the-art performance.

研究の動機と目的

• マルチホップ推論を多数のホップにスケーリングしつつ、高いリトリーブ精度を維持すること。
• 各ホップ後にコンテキストのコンデンセーションを用いて、マルチホップリトリーブに内在する指数的増加する検索空間を低減すること。
• 異なる関連するパラグラフをマッチングする必要がある複雑で多面的なクエリを、柔軟なリトリーブメカニズムでより効果的にモデリングすること。
• きめ細かく設定されたデータセット固有のヒューリスティクスや高コストな手動アノテーションに依存せずに、有効なホップ順序を学習すること。
• 大規模で多数ホップのリトリーブタスクにおいて、弱教師信号からの頑健なトレーニングを可能にすること。

提案手法

• コンデンセドリトリーブ：各ホップ後に取得されたパラグラフを要約し、それを次のホップのクエリの一部とする。これにより検索空間が縮小され、スケーラビリティが向上する。
• 焦点的ラテントインタラクションパラグラフリトリーバー（FLIPR）：クエリ埋め込みの異なる部分が異なる関連パラグラフにマッチできるように学習されたリトリーブモデルであり、細かく調整された文脈に依存したマッチングを可能にする。
• ランダムホップ順序化（LHO）：トレーニング中にリトリーバ自身が最適なホップの順序を選択する弱教師信号戦略であり、手動またはヒューリスティクスによる順序付けに依存しない。
• ハイブリッドアーキテクチャ：グリーディリトリーブとコンパクトなコンテキストを組み合わせ、再検索の性能と効率のバランスを取る。ビームサーチを上回るスケーラビリティとパフォーマンスを達成する。
• 弱教師信号を用いたエンドツーエンドトレーニング：ホップ順序のアノテーションではなく、パラグラフレベルのラベルのみを用いてシステムをトレーニングする。これにより、任意の数のホップに一般化可能になる。
• 大規模コーパスへの適応：コロールト（ColBERT）のようなラテントインタラクションモデルの効率性を活用し、多数ホップおよび大規模ドキュメントコレクションに効率的にスケーリングできるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 リトリーブシステムは、多数ホップにスケーリングしつつも、マルチホップ推論タスクで高いリCALLを達成できるか？
• RQ2 複数の異なるパラグラフからの情報を必要とする複雑なクエリを、標準的なベクトルまたはBag-of-Wordsアプローチよりも効果的にモデリングできるか？
• RQ3 明示的な順序アノテーションなしに、弱教師信号から有効なホップ順序を自動で学習できるか？
• RQ4 コンデンセドリトリーブは、標準的なグリーディまたはビームサーチ戦略と比較して、どの程度リCALLと頑健性を向上させるか？
• RQ5 2ホップベンチマークを超えて、現実世界の多数ホップ主張検証タスクにおいて、このシステムはどの程度の性能を示すか？

主な発見

• 2ホップのHotPotQAベンチマークにおいて、Baleenはトップ20の取得パラグラフ内で96.3%の回答リCALLを達成し、先行研究（89.4%）を顕著に上回る。
• 4ホップのHoVer主張検証データセットにおいて、Baleenは全体で92.2%のリトリーブ精度を達成し、次に強いベースライン（74.8%）を著しく上回る。
• アブレーションスタディでは、FLIPRを除去するとHoVerで87.4%に低下し、複雑なクエリのモデリングにおいてその重要性が浮き彫りになる。
• ランダムホップ順序化（LHO）を除去すると性能は84.8%に低下し、LHOが有効なホップ順序学習に不可欠であることが示される。
• ハイブリッドアーキテクチャ（Baleen${}_{\textnormal{HYBRID}}$）はHoVerで94.5%の精度を達成し、コンデンセドリトリーブと再検索を組み合わせることで頑健性が向上することを示している。
• Baleenの性能は4ホップでも安定しており（HotPotQAで85.1%）、複雑なマルチホップ推論タスクへのスケーラビリティが裏付けられる。