[論文レビュー] Learning Optimal Card Ranking from Query Reformulation

Liangjie Hong, Yue Shi+1 more|arXiv (Cornell University)|Jun 22, 2016

Web Data Mining and Analysis参考文献 31被引用数 3

ひとこと要約

本論文は、モバイル検索におけるクエリ・カード対の関連性ラベルを効果的に生成するため、ユーザーのクエリ再定式化を暗黙のフィードバックとして活用するラーニング・トゥ・ラベル（LtL）フレームワークを提案する。カードの再定式化行動への寄与度をモデル化することで、本手法は人為的ラベルやクリック信号を上回り、ラーニング・トゥ・ラベル（LtL）戦略が、クエリ固有の判別力のあるカード関連性重みを学習することで最良のパフォーマンスを達成する。

ABSTRACT

Mobile search has recently been shown to be the major contributor to the growing search market. The key difference between mobile search and desktop search is that information presentation is limited to the screen space of the mobile device. Thus, major search engines have adopted a new type of search result presentation, known as extit{information cards}, in which each card presents summarized results from one domain/vertical, for a given query, to augment the standard blue-links search results. While it has been widely acknowledged that information cards are particularly suited to mobile user experience, it is also challenging to optimize such result sets. Typically, user engagement metrics like query reformulation are based on whole ranked list of cards for each query and most traditional learning to rank algorithms require per-item relevance labels. In this paper, we investigate the possibility of interpreting query reformulation into effective relevance labels for query-card pairs. We inherit the concept of conventional learning-to-rank, and propose pointwise, pairwise and listwise interpretations for query reformulation. In addition, we propose a learning-to-label strategy that learns the contribution of each card, with respect to a query, where such contributions can be used as labels for training card ranking models. We utilize a state-of-the-art ranking model and demonstrate the effectiveness of proposed mechanisms on a large-scale mobile data from a major search engine, showing that models trained from labels derived from user engagement can significantly outperform ones trained from human judgment labels.

研究の動機と目的

• モバイル検索におけるクエリ・カード関連性のラベリング課題に対処すること。伝統的なクリックベースや人為的ラベルは、低クリックカードや時間的関連性の変化により不十分であるため。
• クエリ再定式化（連続する類似クエリ）が、ユーザー満足度およびカード関連性の信頼できる代理指標として機能するかどうかを検討すること。
• ユーザーの再定式化行動を個々のカードの関連性スコアにマッピングするスケーラブルで原理的根拠のあるラベリング戦略を開発すること。
• 再定式化から導出されたラベルで訓練されたモデルが、人為的判断やクリックスルーレート（CTR）で訓練されたモデルを著しく上回ることを実証すること。

提案手法

• 3つのラベル解釈戦略（ポイントワイズ：NPL, DPL, MPL、ペアワイズ：APL、リストワイズ：LL）を提案。それぞれが再定式化イベントを個々のカードの関連性スコアにマッピングする。
• ラーニング・トゥ・ラベル（LtL）手法を導入。各カードの再定式化への寄与度を推定するモデルを訓練し、回帰重みをラベルとして使用する。
• ラベル品質の評価に、最新のランク付けモデルを用い、人為的判断やCTRではなく再定式化データから導出されたラベルで訓練する。
• 閾値ベースの類似度メトリクスを用いて、連続するクエリを再定式化イベントとして特定し、ポジティブ／ネガティブラベルの割り当ての根拠とする。
• 関数的ラベル定義（式4）を採用。クリックと閲覧信号を組み合わせた総合スコアを定義し、カードのエンゲージメント寄与度に基づいて順序付けを行う。
• 下流のランク付けパフォーマンスを用いてラベル品質を検証。LtLをポイントワイズ、ペアワイズ、リストワイズのベースラインと比較し、大規模なモバイル検索データセット上で評価する。

実験結果

リサーチクエスチョン

• RQ1 クリック信号が欠落または信頼できない状況下でも、クエリ再定式化がモバイルカードランク付けにおける関連性の代理指標として効果的に活用可能か？
• RQ2 クエリレベルで観察される再定式化イベントを、ランク付けモデルの訓練に役立てる個々のカード関連性スコアに意味的にマッピングする方法は何か？
• RQ3 カードの再定式化への寄与度をモデル化するラーニング・トゥ・ラベル戦略は、人為的判断やCTRといった従来のラベリング手法を上回るか？
• RQ4 再定式化データで訓練された場合、ポイントワイズ、ペアワイズ、リストワイズの異なるラベル解釈戦略の相対的パフォーマンスはどのようになるか？
• RQ5 再定式化から導出されたラベルで訓練されたカードランク付けモデルは、CTRや人為的ラベルで訓練されたモデルを上回るパフォーマンスを達成できるか？

主な発見

• ラーニング・トゥ・ラベル（LtL）戦略が、すべての指標で最高のパフォーマンスを達成。人為的判断ベースのラベルやCTRベースのラベルを上回る。
• LtLは、再定式化へのカード寄与度を学習することで、優れた判別力を持つラベルを生成。その結果、高いTPRと低いTNRを達成。
• ポイントワイズ手法のDPLは、ポジティブ例とネガティブ例の順序を保持するため、高いF-measureを達成。
• ペアワイズ手法のAPLは、良いペアと悪いペアのバランスの取れたトレードオフを達成し、計算コストも低く抑えられる。
• NPLとMPLは、それぞれラベル干渉と単一カード移動の過剰ペナルティにより性能が低く、順序構造の保持の重要性を示している。
• LtLの回帰重みは解釈可能性を提供する。例えば、「Barack Obama」に対してNewsCardとWebCardが顕著に関連性が高く、一方「Apple」に対してはNavigationCardが支配的である。これは、モデルの機能的解釈可能性を裏付けている。