[論文レビュー] Modeling Attractiveness and Multiple Clicks in Sponsored Search Results

Dinesh Govindaraj, Tao Wang+1 more|arXiv (Cornell University)|Jan 1, 2014

Information Retrieval and Search Behavior参考文献 18被引用数 9

ひとこと要約

本稿では、逆クリックを考慮し、結果間で共有される語レベル特徴を用いて魅力性とクリック後の関連性を共同でモデル化する、スポンサーリンク検索のための新規クリックモデルを提案する。外部要因やユーザの疲労を組み込み、ワンパス推論アルゴリズムを採用することで、クリックシーケンスおよびトップクリック位置の予測において、従来手法を著しく上回る性能を発揮する。

ABSTRACT

Click models are an important tool for leveraging user feedback, and are used by commercial search engines for surfacing relevant search results. However, existing click models are lacking in two aspects. First, they do not share information across search results when computing attractiveness. Second, they assume that users interact with the search results sequentially. Based on our analysis of the click logs of a commercial search engine, we observe that the sequential scan assumption does not always hold, especially for sponsored search results. To overcome the above two limitations, we propose a new click model. Our key insight is that sharing information across search results helps in identifying important words or key-phrases which can then be used to accurately compute attractiveness of a search result. Furthermore, we argue that the click probability of a position as well as its attractiveness changes during a user session and depends on the user's past click experience. Our model seamlessly incorporates the effect of externalities (quality of other search results displayed in response to a user query), user fatigue, as well as pre and post-click relevance of a sponsored search result. We propose an efficient one-pass inference scheme and empirically evaluate the performance of our model via extensive experiments using the click logs of a large commercial search engine.

研究の動機と目的

• 順序付きユーザ行動を仮定し、結果間の情報共有を欠如させる従来のクリックモデルの限界を是正すること。
• 逆クリック（例：位置3を位置1より先にクリックする）が一般的なスポンサーリンク検索におけるユーザ行動をモデル化すること。
• 結果間で共有されるキーフレーズを用いて、魅力性（クリック前関連性）とクリック後関連性を共同で推定することで、クリック予測精度を向上させること。
• 大規模クリックログからのワンパス学習を可能にする、効率的でスケーラブルな推論スキームの開発。
• スポンサーリンククリックダイナミクスにおいて、ユーザの疲労や外部要因（他の結果の品質など）をより正確に表現すること。

提案手法

• クリック確率が点検確率と魅力性の積として分解可能な分離可能なクリックモデルを提案し、魅力性は結果間で共有されるキーフレーズから導出する。
• 順序に依存しない状態遷移確率行列 γij を用いて、逆クリックを明示的にモデル化する。この行列は、位置 i から j へのクリック確率（順序にかかわらず）を捉える。
• パラメータ ηj（j 回クリック後に継続する確率）および βj（j 回を超えるクリックを含むセッション数）を用いて、ユーザの疲労およびセッションレベルのダイナミクスを組み込む。
• クリック後の関連性を ρd（文書 d をクリック後にセッションが終了する確率）および κ′d（セッションが d で終了する回数）を用いて推定する。
• すべてのパラメータに共役事前分布（ベータおよびディリクレ分布）を用いることで、ワンパス学習における効率的で閉形式のベイジアン推論を可能にする。
• 結果間で語レベル特徴（例：太字のクエリ語）を活用し、魅力性を推定することで、一般化性能およびロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 スポンサーリンク検索セッションにおいて、順序が逆転したクリック（低い順位の結果を高い順位の結果より先にクリックする）はどの程度発生するか？
• RQ2 スポンサーリンクの結果間で共有される語レベル特徴を用いることで、魅力性の推定とクリック予測精度が向上するか？
• RQ3 ユーザの疲労や外部要因（他の結果の品質など）は、スポンサーリンク検索におけるクリック行動にどのように影響を与えるか？
• RQ4 ワンパス推論アルゴリズムは、大規模な商用クリックログにスケーラブルに適用可能であり、高い予測精度を維持できるか？
• RQ5 クリック前の魅力性とクリック後の関連性の両方をモデル化することで、従来のモデルに比べてトップクリック位置の予測精度が向上するか？

主な発見

• 約10％のスポンサーリンク検索セッションで複数回のクリックが発生しており、そのうち30％では少なくとも1組のクリックが逆順序である。これは、順序付きスキャン仮定が成立しないことを示している。
• 2回クリックのあるセッションにおいて、本モデルはトップクリック位置の予測精度が55.74％に達し、DBN（51.12％）、PM（45.66％）、AM（49.50％）、ICM（16.09％）を著しく上回る。
• 3回クリックのあるセッションでは、本モデルはトップクリック位置の予測精度が61.51％に達し、DBN（58.20％）、AM（59.14％）、PM（44.74％）、ICM（44.75％）を上回る。
• キーフレーズ特徴を通じた結果間の情報共有により、特にクリック回数が少ない状況でも、魅力性の推定がより安定的かつ正確になる。
• ワンパス推論アルゴリズムにより、大規模なクリックログに対するスケーラブルな学習が可能となり、すべてのパラメータが共役事前分布を用いて効率的に推定される。
• 本モデルは、i > j を含むすべての i,j 組み合わせについて、遷移確率 γij を明示的にモデル化することで、ノイズに強く、逆クリックシーケンスの予測精度が向上する。