[論文レビュー] Wacky Weights in Learned Sparse Representations and the Revenge of Score-at-a-Time Query Evaluation

Joel Mackenzie, Andrew Trotman+1 more|arXiv (Cornell University)|Oct 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 16

ひとこと要約

この論文は、トランスフォーマーに基づく学習されたスパース表現を用いたリtrievalシステムにおけるクエリ評価効率を調査し、『わざとらしい』語の重み—直感的でない、非標準的な分布—が、ドキュメントごとの評価（DaaT）手法における最適化の機会を顕著に減少させることを発見した。その結果、スコアごとの評価（SaaT）アプローチがより競争力を持つようになり、特にρ=5の近似評価を用いる場合、平均および末尾クエリの遅延に顕著な改善が得られ、効果性の損失は最大3%にとどまる。

ABSTRACT

Recent advances in retrieval models based on learned sparse representations generated by transformers have led us to, once again, consider score-at-a-time query evaluation techniques for the top-k retrieval problem. Previous studies comparing document-at-a-time and score-at-a-time approaches have consistently found that the former approach yields lower mean query latency, although the latter approach has more predictable query latency. In our experiments with four different retrieval models that exploit representational learning with bags of words, we find that transformers generate "wacky weights" that appear to greatly reduce the opportunities for skipping and early exiting optimizations that lie at the core of standard document-at-a-time techniques. As a result, score-at-a-time approaches appear to be more competitive in terms of query evaluation latency than in previous studies. We find that, if an effectiveness loss of up to three percent can be tolerated, a score-at-a-time approach can yield substantial gains in mean query latency while at the same time dramatically reducing tail latency.

研究の動機と目的

• トランスフォーマーから得られる学習されたスパース表現が、クエリ評価性能に与える影響を理解すること。
• これらのモデルに見られる『わざとらしい』語の重み分布が、スキップや早期終了といった従来のDaaT最適化をどれほど損なうかを調査すること。
• 現代の学習されたスパースリtrieバルモデルの文脈において、DaaTとSaaTのクエリ評価戦略を比較すること。
• 近似評価を用いた場合の、リtrieバルの効果性とクエリ遅延のトレードオフを評価すること。
• 語の重みが非標準的かつ予測不能な場合、SaaTが実際の文脈でDaaTを上回る可能性があるかどうかを評価すること。

提案手法

• トランスフォーマー生成の学習されたスパース表現に基づく4つのリtrieバルモデルを実証的に評価：BM25-T5、SPLADEv2、BERT-2021、BERT-2022。
• これらのモデルを対象に、ドキュメントごとの評価（DaaT）とスコアごとの評価（SaaT）の両方の戦略を実装し、比較する。
• 作業制限パラメータρを用いた近似クエリ評価を用い、計算コストを制御し、効果性の損失を測定する。
• 性能の予測可能性を評価するため、平均クエリ遅延と末尾遅延（Tukeyボックスプロットを用いて）を測定する。
• TREC-COVIDおよびTREC-APのコロケーションを用いて、効果性（mean RR@10）と効率を評価する実験を実施する。
• モデル／システムの組み合わせ全体を通じて、効果性と遅延のパレート最適なトレードオフを分析する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づく学習されたスパース表現における語の重み分布は、ドキュメントごとの評価（DaaT）の性能にどのように影響を与えるか？
• RQ2 ストップワードやサブワードに高いスコアが割り当てられるような『わざとらしい』重み—例えば、意味的に情報量の少ない語に高いスコア—は、スキップや早期終了といった標準的なDaaT最適化をどの程度損なうか？
• RQ3 学習されたスパース表現に適用した場合、スコアごとの評価（SaaT）は、平均および末尾クエリ遅延においてDaaTを上回るか？
• RQ4 作業制限パラメータρを用いた近似評価を用いる場合、リtrieバルの効果性とクエリ評価効率のトレードオフはどのようなものか？
• RQ5 従来の研究で平均遅延が高かったにもかかわらず、SaaTが、語の重みが非標準的で予測不能な状況下で、DaaTを上回る総合的な効率を達成できるか？

主な発見

• 学習されたスパース表現における語の重み分布は非常に非標準的であり、意味的に情報量の少ない語（ストップワードやサブワードなど）に高いスコアが割り当てられることがあり、著者らはこれを『わざとらしい』と呼ぶ。
• これらの『わざとらしい』重みは、スキップや早期終了といったDaaT最適化の有効性を著しく制限し、SaaTに対するDaaTの性能優位性を低下させる。
• ρ=5の近似評価を用いる場合、特にTREC-COVIDコロケーションにおいて、スコアごとの評価（SaaT）はDaaTよりも顕著に低い平均クエリ遅延を達成する。
• mean RR@10の最大3%の損失を許容することで、SaaTは平均クエリ遅延を52ms（PISAの遅延の四分の一）まで短縮し、末尾遅延も顕著に低減できる。
• パレート最適なフロンティアは、特定のモデルやシステムが常に優位であるとは限らず、むしろアプリケーション固有の効果性と効率のトレードオフに依存する。
• JASS-A（近似評価を施したSaaT）は、SPLADEv2と組み合わせることで、積極的なクエリ拡張のおかげで非常に予測可能な遅延を達成し、1クエリあたりρ個のポストインゲージを一貫して処理できる。