[論文レビュー] STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases

Shirley Wu, Shiyu Zhao+8 more|arXiv (Cornell University)|Apr 19, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

STaRKは、テキストおよび関係的データを統合する準構造化知識ベース（SKB）上で大規模言語モデル（LLM）駆動の検索を評価するための包括的で最初のベンチマークを導入する。著者らは、eコマース、学術、および生物医学分野をカバーする現実的で複雑なクエリを生成するための合成パイプラインを開発し、現在の検索システム—特に埋め込みベースの手法—が正確性と推論能力の両面で困難を抱えていることを明らかにした。これは、性能向上のためのLLM補強型リランク手法の必要性を示している。

ABSTRACT

Answering real-world complex queries, such as complex product search, often requires accurate retrieval from semi-structured knowledge bases that involve blend of unstructured (e.g., textual descriptions of products) and structured (e.g., entity relations of products) information. However, many previous works studied textual and relational retrieval tasks as separate topics. To address the gap, we develop STARK, a large-scale Semi-structure retrieval benchmark on Textual and Relational Knowledge Bases. Our benchmark covers three domains: product search, academic paper search, and queries in precision medicine. We design a novel pipeline to synthesize realistic user queries that integrate diverse relational information and complex textual properties, together with their ground-truth answers (items). We conduct rigorous human evaluation to validate the quality of our synthesized queries. We further enhance the benchmark with high-quality human-generated queries to provide an authentic reference. STARK serves as a comprehensive testbed for evaluating the performance of retrieval systems driven by large language models (LLMs). Our experiments suggest that STARK presents significant challenges to the current retrieval and LLM systems, highlighting the need for more capable semi-structured retrieval systems. The benchmark data and code are available on https://github.com/snap-stanford/STaRK.

研究の動機と目的

• 実世界のクエリにおいてテキスト的知識と関係的知識の両方を処理する検索システムの評価ギャップを埋めるため。
• 実用的応用を反映する現実的で大規模な準構造化知識ベース（SKB）検索用のベンチマークを構築するため。
• 非構造化テキストと構造化関係の両方を推論して必要な複雑なクエリに対するLLM駆動の検索システムのパフォーマンスを評価するため。
• LLM補強型検索パイプラインにおける検索正確性、遅延、推論能力の間のトレードオフを評価するため。
• 将来の研究者によるマルチモーダルでハイブリッドな検索システムの研究を標準化されたテストベッドで支援するため。

提案手法

• 実際のSKBからテキスト記述と関係的制約を統合した自然で複雑なユーザークエリを自動的に生成する、画期的なパイプラインを設計する。
• 公開データセットから3つの多様なSKBを構築する：STaRK-Amazon（eコマース）、STaRK-MAG（学術論文）、STaRK-Prime（生物医学知識）。
• 人間による評価を実施し、クエリの質を検証し、ドメイン全体にわたる関連性、現実性、多様性を確保する。
• 密度検索、グラフニューラルネットワーク（QAGNN）、ベクトル類似度検索（VSS）のベースラインを実装し、正確性向上のためLLMリランク（Claude、GPT-4）を適用する。
• すべてのデータセットで検索効果性を評価するため、Recall@20、MRR、Hit@1などの指標を適用する。
• 実用的デプロイメントのトレードオフを評価するため、1台のA100 GPU上でシステムの遅延を測定する。

実験結果

リサーチクエスチョン

• RQ1 現在のLLMベースの検索システムは、準構造化知識ベースにおけるテキスト的および関係的知識を統合した複雑なハイブリッドクエリに対してどの程度のパフォーマンスを示すのか？
• RQ2 埋め込みベースの検索手法は、クエリ内のテキスト的および関係的コンponentsの相互作用をどの程度正しく捉えていないのか？
• RQ3 構造化関係と非構造化テキストの両方を推論する必要がある状況において、LLMリランクは検索正確性をどの程度向上させるのか？
• RQ4 検索パイプラインにLLMを統合する際の遅延-パフォーマンストレードオフはどのようなものか？
• RQ5 合成クエリ生成は、ハイブリッド検索システムの評価に適した現実的で多様かつ高品質なベンチマークを生成できるのか？

主な発見

• すべてのSTaRKデータセットにおけるRecall@20スコアは60%未満であり、検索の包括性向上に大きな余地があることを示している。
• Hit@1とMRRスコアは依然として低く、特にSTaRK-Primeにおいては、トップ1の位置でも正解を取得するのが困難であることが示された。
• LLMリランクを適用したVSSモデル（例：VSS+Claude）が最高の正確性を達成しており、推論強化型リランクが結果を顕著に改善することが示された。
• LLMリランカーを用いることで遅延が著しく増加する：STaRK全体でVSS+Claudeの平均遅延は26.33秒であるのに対し、Dense Retrieverでは1.40秒にとどまる。
• 事例研究では、純粋な埋め込みモデルがキーワードの繰り返しにより文書を誤ってランク付けする傾向がある一方、LLMリランカーはクエリ-コンテキスト関係を推論することでこれらの誤りを是正している。
• ベンチマークは、現在の検索システムがテキスト的および関係的情報の共同推論を要するクエリに対しては頑健でないことを明らかにした。これは、検索パイプラインにLLM推論をより良い方法で統合する必要があることを示唆している。