[論文レビュー] An end-to-end Generative Retrieval Method for Sponsored Search Engine --Decoding Efficiently into a Closed Target Domain

Yijiang Lian, Zhijie Chen+12 more|arXiv (Cornell University)|Feb 2, 2019

Web Data Mining and Analysis参考文献 26被引用数 10

ひとこと要約

本稿では、従来のクエリリライトおよび関連性スコアリングを経由しないで、神経機械翻訳（NMT）を用いてクエリから直接関連キーワードを生成するエンド・ツー・エンドの生成的リtrieバル手法（EGRM）を提案する。自己正規化学習とTrieベースの動的プルーニングを統合することで、推論時間を20倍以上短縮しながらも高い関連性を維持し、オンラインA/BテストではCPMが13.8%、CTRが15.4%向上した。

ABSTRACT

In this paper, we present a generative retrieval method for sponsored search engine, which uses neural machine translation (NMT) to generate keywords directly from query. This method is completely end-to-end, which skips query rewriting and relevance judging phases in traditional retrieval systems. Different from standard machine translation, the target space in the retrieval setting is a constrained closed set, where only committed keywords should be generated. We present a Trie-based pruning technique in beam search to address this problem. The biggest challenge in deploying this method into a real industrial environment is the latency impact of running the decoder. Self-normalized training coupled with Trie-based dynamic pruning dramatically reduces the inference time, yielding a speedup of more than 20 times. We also devise an mixed online-offline serving architecture to reduce the latency and CPU consumption. To encourage the NMT to generate new keywords uncovered by the existing system, training data is carefully selected. This model has been successfully applied in Baidu's commercial search engine as a supplementary retrieval branch, which has brought a remarkable revenue improvement of more than 10 percents.

研究の動機と目的

• 商業検索エンジンにおけるユーザークエリとスポンサーリンクキーワードの意味的ギャップを解消すること。
• クエリリライトと関連性スコアリングを含むマルチステージのリtrieバルパイプラインに起因する誤差の蓄積を排除すること。
• 有効キーワードの閉じたドメイン内での効率的でリアルタイムのキーワード生成を可能にすること。
• 従来のシステムが捉えていなかった新たな関連キーワードを生成することで、リtrieバル品質と収益を向上させること。
• 自己正規化とミックスド・オンライン・オフラインサービングを用いて、産業用途への導入に適した推論速度最適化を行うこと。

提案手法

• クエリをキーワードにマッピングするため、残差RNNエンコーダーとデコーダーを備えたシーケンス・ツー・シーケンスNMTアーキテクチャを採用する。
• ビームサーチ中にTrieベースのプルーニング機構を導入し、閉じたドメイン内ののみ有効な事前に承認されたキーワードに出力を制限する。
• 推論時に完全正規化の必要性を減らすことで、デコードの安定化と高速化を図るため、自己正規化学習を適用する。
• ピーク時のトラフィックにおけるCPU消費量を削減するために、計算をオフロードするミックスド・オンライン・オフラインサービングアーキテクチャを実装する。
• クエリをドメイン固有のプレフィックスツリーにルーティングするためのトレード分類器を用い、クエリの文脈に基づいた高速でターゲットを絞ったデコードを可能にする。
• 希少または従来のリtrieバルシステムで得られなかったキーワードに重点を置いたトレーニングデータをキュレーションし、新しいクエリ-キーワードペアの探索を促進する。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドの生成的モデルは、関連性を損なわずに、伝統的なマルチステージのリtrieバルパイプラインを代替できるか？
• RQ2 スピードや品質を損なわせることなく、有効キーワードの閉じた集合へのデコードをどのように効率的に制約できるか？
• RQ3 自己正規化学習とTrieベースのプルーニングは、リアルタイムのスポンサーレスルーチャー・システムにおいて推論遅延をどの程度短縮できるか？
• RQ4 従来のリtrieバルシステムがカバーしていない高品質な新規キーワードをモデルが生成できるか、それが測定可能な収益増加に繋がるか？
• RQ5 ミックスド・オンライン・オフラインサービング戦略は、システム効率とリソース利用度にどのような影響を与えるか？

主な発見

• 自己正規化学習とTrieベースの動的プルーニングにより、EGRMシステムはデコード時間を20倍短縮し、ビームサイズ100における平均推論時間を1125msから32.15msに削減した。
• Trieプルーニングを適用した場合、生成されたキーワードの80%が有効であったが、プルーニングを除去した場合、ビームサイズ300においては僅か8%の有効率にとどまり、制約付きデコードの必要性を示した。
• 関連性評価の結果、ベースラインシステムと比較して、低品質ペアが20.7%減少し、高品質ペアが6.6%増加した。
• オンラインA/Bテストの結果、CPMが13.8%、CTRが15.4%向上し、顕著な収益およびエンゲージメントの向上が確認された。
• モデルは従来のシステムでカバーされていなかったキーワードを効果的に生成し、バイドゥの商業検索エンジンで10%以上の収益向上に寄与した。
• ミックスド・オンライン・オフラインサービングアーキテクチャは、CPU消費量を効果的に削減するとともに、リアルタイムクエリに対する低遅延応答を維持した。