[論文レビュー] Sparse Meets Dense: A Hybrid Approach to Enhance Scientific Document Retrieval

Priyanka Mandikal, Raymond J. Mooney|arXiv (Cornell University)|Jan 8, 2024

Topic Modeling被引用数 7

ひとこと要約

本論文は、疎語彙表現 TF/IDF バグ・オブ・ワードと密な SPECTER2 埋め込みを組み合わせたハイブリッド検索モデルを示し、嚢胞性線維症（cystic fibrosis）の科学文書ベンチマークにおいて両方のベースラインを上回る。

ABSTRACT

Traditional information retrieval is based on sparse bag-of-words vector representations of documents and queries. More recent deep-learning approaches have used dense embeddings learned using a transformer-based large language model. We show that on a classic benchmark on scientific document retrieval in the medical domain of cystic fibrosis, that both of these models perform roughly equivalently. Notably, dense vectors from the state-of-the-art SPECTER2 model do not significantly enhance performance. However, a hybrid model that we propose combining these methods yields significantly better results, underscoring the merits of integrating classical and contemporary deep learning techniques in information retrieval in the domain of specialized scientific documents.

研究の動機と目的

• クラシックCFコーパス上で、従来の疎ベクトル空間検索（VSR）と密な埋め込み検索（SPECTER2）を評価する。
• 疎＋密のハイブリッドリトリーバが個々のモデルを上回るかを評価する。
• 結合重み lambda が検索品質に与える影響を探る。
• ハイブリッド設定内でベースの SPECTER2 とアダプターの使用の効果を評価する。

提案手法

• 疎ベースラインとして、コサイン類似度を用いた TF/IDF を使用する。
• 密埋め込みを生成するために SPECTER2 を使用し、密検索にはコサイン類似度を用いる。
• lambda * dense_similarity + (1-lambda) * sparse_similarity で文書をスコアリングするハイブリッドリトリーバを作成する。
• CFデータセット上で精度-再現率とNDCGを最適化するよう lambda を調整する。
• ハイブリッドフレームワーク内でベースの SPECTER2 とアダプター変種を比較する。

Figure 1: Overview of our approach. On a medical dataset of cystic fibrosis documents, we combine sparse bag-of-words embeddings with dense embeddings from a SOTA LLM (Specter2 [ 4 ] ) to produce a hybrid retriever that significantly outperforms both methods.

実験結果

リサーチクエスチョン

• RQ1 医療/科学的検索タスクにおいて、疎＋密のハイブリッド検索モデルは従来の疎ベースと密ベースの両方を上回ることができるか？
• RQ2 このデータセットにおける密と疎の成分の最適なバランス（lambda）はどれか？
• RQ3 ハイブリッドモデル内で SPECTER2 のアダプターは追加の利点をもたらすか？

主な発見

• ハイブリッドモデルは嚢胞性線維症コーパスにおける precision/recall および NDCG 指標で、TF/IDF VSR および SPECTER2 の両方を上回る。
• dense 成分の重みを高くする（lambda ≈ 0.8）が、PR と NDCG の両方で最良の結果をもたらす。
• この設定では SPECTER2 ベースモデルはアダプターと同等かそれ以上の性能を示す。アダプターは NDCG の利得をわずかに提供するが、高再現率の精度を低下させる可能性がある。
• これらの知見は、古典的な手法と最新のIR技術を統合することを支持する。

Figure 2: Results on the Cystic-Fibrosis dataset. The hybrid approach ( $\lambda=0.8$ ) outperforms both traditional sparse vector-space retrieval (VSR) and state-of-the-art deep embeddings (SPECTER2 [ 4 ] ) in both PR (left) as well as NDCG (right) metrics.