[論文レビュー] Precise Zero-Shot Dense Retrieval without Relevance Labels

Luyu Gao, Xueguang Ma+2 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用数 15

ひとこと要約

この論文では、指示に従う言語モデルを用いて仮想文書を生成し、関連性を模倣することで、関連性ラベルやモデルの微調整なしにゼロショットの密索索を実現するHyDEを提案する。対照的エンコーダーの意味的埋め込みを用いて、実際の文書を検索する。関連性ラベルや微調整を一切行わず、複数のタスクや言語で微調整済みの密索索と同等の性能を達成しており、Contrieverなどの非教師ありベースラインを顕著に上回っている。

ABSTRACT

While dense retrieval has been shown effective and efficient across tasks and languages, it remains difficult to create effective fully zero-shot dense retrieval systems when no relevance label is available. In this paper, we recognize the difficulty of zero-shot learning and encoding relevance. Instead, we propose to pivot through Hypothetical Document Embeddings~(HyDE). Given a query, HyDE first zero-shot instructs an instruction-following language model (e.g. InstructGPT) to generate a hypothetical document. The document captures relevance patterns but is unreal and may contain false details. Then, an unsupervised contrastively learned encoder~(e.g. Contriever) encodes the document into an embedding vector. This vector identifies a neighborhood in the corpus embedding space, where similar real documents are retrieved based on vector similarity. This second step ground the generated document to the actual corpus, with the encoder's dense bottleneck filtering out the incorrect details. Our experiments show that HyDE significantly outperforms the state-of-the-art unsupervised dense retriever Contriever and shows strong performance comparable to fine-tuned retrievers, across various tasks (e.g. web search, QA, fact verification) and languages~(e.g. sw, ko, ja).

研究の動機と目的

• 関連性の監視やモデルの微調整が一切不要な完全なゼロショット密索システムの開発。
• 関連性ラベル付きデータが入手不可能な低リソースまたは実世界の設定において、効果的な密索索を実現する挑戦への対処。
• 関連性モデリングを大規模言語モデルに委ねることで、明示的な関連性スコアリングに依存しないかの探求。
• 生成モデルの出力によってガイドされた対照的エンコーダーが、微調整なしに関連する文書を効果的に検索できることの実証。

提案手法

• 入力クエリに応える仮想文書を生成するため、指示に従う言語モデル（例：InstructGPT）を用いる。これは関連する文書を模倣する。
• 非教師あり対照的エンコーダー（例：Contriever）を用いて、生成された仮想文書を密な埋め込みに変換する。
• 仮想文書の埋め込みと、すべての実際の文書の埋め込みとのコサイン類似度を計算することで、コロナの文書から実際の文書を検索する。
• 対照的エンコーダーの密なボトルネックを活用し、生成された文書に含まれる幻覚的または誤った詳細をフィルタリングする。
• 同じエンコーダーと言語モデルのバックボーンを、アーキテクチャやハイパーパrameterの変更なしに、多様なタスクや言語に適用する。
• 両方のモデルを固定したまま維持する——すべてのコンponentに対してトレーニングや微調整は実施しない。

実験結果

リサーチクエスチョン

• RQ1 実際の文書にアクセスできない状況で、言語モデルが関連性のパターンを捉える文書風の応答を生成できるか？
• RQ2 幻覚的で可能性のある仮想文書の埋め込みに基づいて、対照的エンコーダーが関連する実際の文書を検索できるか？
• RQ3 関連性ラベルが存在しない状況で、このゼロショットアプローチがContrieverのような非教師あり密索索ベースラインを上回るか？
• RQ4 複数の言語とタスクにおいて、HyDEは微調整済みの密索索と比べてどのように性能を発揮するか？
• RQ5 微調整なしに、生成モデルの出力によって接地された対照的エンコーダーの性能は、向上するか？

主な発見

• HyDEは、ウェブ検索、質問応答、事実検証のタスクをカバーする11のベンチマークデータセットにおいて、非教師ありのContrieverベースラインを顕著に上回った。
• TREC DL19/20において、InstructGPTとContrieverを用いたHyDEは、NDCG@10がそれぞれ61.3および57.9を達成し、非教師ありのContriever（44.5および42.1）を上回った。
• 175Bパラメータを持つGPTモデルを用いたHyDEは、DL19でNDCG@10が61.3を達成し、同じデータセットで微調整済みのmContrieverモデル（62.1）を上回った。
• より大きな指示に従う言語モデル（例：Cohere 52B、GPT 175B）を用いることで、より小さいモデル（例：Flan-T5 11B）に比べて一貫した性能向上が見られた。これは、モデル規模の向上が性能向上に寄与することを示している。
• 微調整済みエンコーダーを用いても、強力な言語モデル（GPT-175B）を組み合わせたHyDEはさらに性能向上を示した（DL19でのNDCG@10：67.4）。これは、生成モデルとエンコーダーのコンponent間に相補的な強みがあることを示唆している。
• HyDEは、スワヒリ語、韓国語、日本語を含む多様な言語において、ゼロショット一般化性能が強く、非微調整モデルを上回り、微調整済みシステムと同等の性能を発揮した。