[論文レビュー] Shuffling a Stacked Deck: The Case for Partially Randomized Ranking of Search Engine Results

Sandeep Pandey, Sourashis Roy+3 more|arXiv (Cornell University)|Mar 4, 2005

Consumer Market Behavior and Pricing参考文献 17被引用数 71

ひとこと要約

本稿では、人気ページの固定化を軽減し、高品質な新規コンテンツの発見を向上させるために、検索エンジンにおける部分的ランダム化ランク付けを提案する。一時的に未探索のページを結果リストで上位に昇格させることで（制御された10％のランダム化率を用い）、新規で高品質なページの可視性が向上し、長期的に見て結果の質が著しく向上することが実証された。この結果は、多様なWebコミュニティモデルにおける実世界の実験とシミュレーションで裏付けられている。

ABSTRACT

In-degree, PageRank, number of visits and other measures of Web page popularity significantly influence the ranking of search results by modern search engines. The assumption is that popularity is closely correlated with quality, a more elusive concept that is difficult to measure directly. Unfortunately, the correlation between popularity and quality is very weak for newly-created pages that have yet to receive many visits and/or in-links. Worse, since discovery of new content is largely done by querying search engines, and because users usually focus their attention on the top few results, newly-created but high-quality pages are effectively ``shut out,'' and it can take a very long time before they become popular. We propose a simple and elegant solution to this problem: the introduction of a controlled amount of randomness into search result ranking methods. Doing so offers new pages a chance to prove their worth, although clearly using too much randomness will degrade result quality and annul any benefits achieved. Hence there is a tradeoff between exploration to estimate the quality of new pages and exploitation of pages already known to be of high quality. We study this tradeoff both analytically and via simulation, in the context of an economic objective function based on aggregate result quality amortized over time. We show that a modest amount of randomness leads to improved search results.

研究の動機と目的

• 人気指標に依存するため、新規で高品質なページが体系的に無視される検索エンジンにおける固定化問題に対処すること。
• 結果ランク付けに制御されたランダムネスを導入することで、検索結果の長期的平均品質が向上するかどうかを調査すること。
• 集計的な結果品質を最大化するように、新規ページの探索と既知の高品質ページの活用の間のトレードオフを評価すること。
• さまざまなランク付け戦略下でのページ人気とユーザーエンゲージメントのダイナミクスを捉える分析的およびシミュレーションモデルを開発すること。
• わずかなランダムネスが検索結果の質に測定可能な改善をもたらすという、実証的および理論的証拠を提供すること。

提案手法

• 未探索（新規）ページの小さな割合を結果リストで一時的に上位に昇格させることで、検索結果ランク付けに制御されたランダムネスを導入する。
• 新規ページが初期の人気度に関係なく、上位表示の非ゼロ確率が与えられるランク昇格メカニズムを用いる。
• ユーザー行動をハイブリッド・サーフィン・アンド・サーチングフレームワークでモデル化し、ユーザーはハイパーリンクを介してブラウズする（トランジット確率c）か、決定的またはランダムなランク付けで検索エンジンを検索する。
• 異なるランク付け戦略下での時間経過に伴う訪問ページの平均品質を評価する指標として、ページ・コレクションの品質（QPC）を定義する。
• ページ数（n）、ユーザープーピュレーション（u）、訪問レート（vu）、時間枠（l）が異なるさまざまなWebコミュニティ構成を、決定論的およびランダム化ランク付けを用いてシミュレートする。
• 45日間にわたり962名の参加者を対象に実世界のユーザースタディを実施し、制御群（ランク昇格なし）と実験群（ランク昇格適用）を比較し、お笑いコンテンツの質を代理指標としてユーザーの評価を測定する。

実験結果

リサーチクエスチョン

• RQ1 決定論的で人気度に基づくランク付けと比較して、検索結果ランク付けにわずかなランダムネスを導入することで、長期的平均の検索結果品質が著しく向上するか？
• RQ2 ランダム化ランク昇格のパフォーマンスは、コミュニティの規模、ユーザーポピュレーション、訪問パターンによってどのように変化するか？
• RQ3 高品質な結果を長期間にわたり維持するうえで、探索（新規ページの昇格）と活用（人気ページのランク付け）の最適なバランスは何か？
• RQ4 ランダムサーフィング（例：PageRankにおけるトランジット確率）の存在が、ランク昇格戦略がページの可視性と品質に与える影響とどのように相互作用するか？
• RQ5 ランク昇格は、高品質な新規コンテンツの発見が遅れる固定化効果をどの程度軽減するか？

主な発見

• 45日間にわたり962名のユーザーを対象に実施した実世界の研究では、ランク昇格が検索結果全体の質に測定可能な改善をもたらした。新規ページが昇格された際、ユーザーはより高品質なおもしろいジョークをより多く評価した。
• シミュレーションにより、ランク付けにおけるわずかな10％のランダム化率が、ページ・コレクションの品質（QPC）を著しく向上させることを示した。これは、わずかなランダムネスが高品質な新規コンテンツの発見を促進することを示している。
• ランク昇格によるパフォーマンス向上は、コミュニティ規模（n = 10,000）、ユーザーポピュレーション（u）、訪問レート（vu = 1,000件/日）の異なる設定においても一貫しており、QPCの向上が安定して得られた。
• ランダムサーフィング（トランジット確率cを介して）が導入された場合、非ランダムランク付けの探索性が向上したが、閾値を超えるとノイズが多すぎてパフォーマンスが劣化した。これは、構造的ランダムネスの必要性を強調している。
• 探索と活用のトレードオフは、中程度のランダムネスレベルで最適であった。あまりに少ないランダムネスでは新規ページが支援されず、逆に多すぎると結果の質が低下した。
• 本研究は、ランダム化ランク昇格が、ユーザーエクスペリエンスを損なうことなく、一貫して検索結果の質を向上させる有望な低コスト戦略であると結論づけた。