[論文レビュー] Description-Based Text Similarity

Shauli Ravfogel, Valentina Pyatkin+3 more|arXiv (Cornell University)|May 21, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、GPT-3を用いて生成された合成的<記述, 文>ペア上で訓練された対照的デュアルエンコーダーモデルを用いて、抽象的記述を具体化する文を検索する、新しいリtrievalタスクを提案する。モデルは85.4%のprecision@1を達成し、E5（73.6%）を著しく上回り、大規模言語モデル（LLM）からのタスク固有のデータキュレーションが、抽象的クエリタイプにおける優れた意味的リtrievalを可能にすることを示している。

ABSTRACT

Identifying texts with a given semantics is central for many information seeking scenarios. Similarity search over vector embeddings appear to be central to this ability, yet the similarity reflected in current text embeddings is corpus-driven, and is inconsistent and sub-optimal for many use cases. What, then, is a good notion of similarity for effective retrieval of text? We identify the need to search for texts based on abstract descriptions of their content, and the corresponding notion of \emph{description based similarity}. We demonstrate the inadequacy of current text embeddings and propose an alternative model that significantly improves when used in standard nearest neighbor search. The model is trained using positive and negative pairs sourced through prompting a LLM, demonstrating how data from LLMs can be used for creating new capabilities not immediately possible using the original model.

研究の動機と目的

• 現在のモデルが効果的に処理できない、コンテンツの抽象的で高レベルな記述に対する意味的リtrievalのギャップを埋める。
• 抽象的記述とその文の具体化との間の「インスタンス・オブ」関係に基づく、明確で一貫性のある類似性の概念を定義する。
• 語彙的・表面的類似性ではなく、概念的記述に一致する特定のコンテンツインスタンスを検索する情報探索クエリのリtrievalパフォーマンスを向上させる。
• 大規模言語モデル（LLM）を蒸留のためのものだけでなく、専用の訓練データを生成する手段としても用いることで、元のLLMが持たない能力を持つリtrievalモデルの構築の可能性を検討する。

提案手法

• GPT-3を用いて、文が記述の具体化であるような、多様で高品質な正例および負例の<抽象的記述, 文>ペアを生成した。
• 記述と文のための別個のエンコーダーを持つ対照的デュアルエンコーダーモデルを構築し、正例ペア間の距離を最小化し、負例ペア間の距離を最大化するように訓練した。
• 2段階のデータフィルタリングプロセスを採用：まずMTurkを用いたクラウドソーシングによる検証により、記述に適合する（有効）または適合しない（無効）文を選別し、高品質な訓練データを確保した。
• 201のテストクエリを含むキュレート済みデータセットを用いて訓練した。各クエリについて12件の有効文と12件の無効文を用意し、955万件のWikipedia文を組み合わせてリtrieバルインデックスを構築した。
• precision@k、valid-recall@k、invalid-recall@kを用いて評価し、結果は保留されたテストセットの抽象的記述を用いて報告した。
• 学習済み埋め込みを用いた標準的な最近傍検索により、大規模なWikipediaインデックスから文をリtrieバルした。

Figure 1: Top retrieval results from the Wikipedia Index. Ours : the model developed in this work. Existing : all-mpnet-base-v2 , a strong sentence-similarity encoder.

実験結果

リサーチクエスチョン

• RQ1 LLMが生成した<記述, 文>ペア上で訓練されたリtrieバルモデルは、一般向けの文エンコーダーを上回り、抽象的記述に基づくリtrieバルにおいて優れた性能を示せるか？
• RQ2 抽象的記述とその文の具体化との間の「インスタンス・オブ」関係は、意味的リtrieバルに適した明確で一貫性のある類似性の概念として定義可能か？
• RQ3 LLMを用いて、高品質で多様かつ信頼性の高い訓練データを、専用のリtrieバルタスク用に生成することはどの程度可能か？
• RQ4 キュレート済みのタスク固有データセット上で訓練されたモデルは、一般向けモデルに比べ、抽象的クエリリtrieバルにおいて精度と再現率の面で優れているか？

主な発見

• 提案されたモデルは85.4%のprecision@1を達成し、最も強力なベースラインであるE5（73.6%）を11.8パーセンテージポイント上回った。
• 性能の差はk=1で最大であり、kが増加するにつれて縮小する傾向にあり、抽象的記述に対するトップ1のリtrieバル品質が優れていることを示している。
• すべてのベースラインの中で最高のinvalid-recall@kを達成しており、記述に一致しない文を検出しない能力が優れていることを示している。
• 一部のベースラインより有効再現率（valid-recall@k）は低かったが、優れた精度と低い偽陽性率のおかげで、実世界の情報探索タスクにおいてより信頼性が高かった。
• 標準的な文エンコーダーが、類似性定義が曖昧で一貫性がないため、抽象的記述リtrieバルには不適切であることが確認された。
• 本研究では、LLMを用いて高品質でタスク固有の訓練データを効果的に生成できることを示しており、LLM自体がもともと持たないリtrieバル能力を学習できるモデルの構築が可能であることを示している。

Figure 2: Human evaluation results ( § 5.1 ): number of times a given number of sentences was chosen per query instance: Our model (abstract-sim), averaged over all 4 baseline evaluations, vs. the baselines.