[論文レビュー] A Study of Position Bias in Digital Library Recommender Systems

Andrew Collins, Dominika Tkaczyk+2 more|arXiv (Cornell University)|Feb 19, 2018

Recommender Systems and Techniques参考文献 20被引用数 11

ひとこと要約

本研究では、SowiportおよびJabRefからの実世界のデータを用いて、デジタル図書館推薦システムにおける順位バイアスを調査した。推薦順序をランダムにシャッフルするか、固定順序を維持するかの条件で実験を行った。その結果、上位順位のアイテムは予想よりも著しく高いクリック率（CTR）を示した。Sowiportでは53%、JabRefでは87%高いCTRを記録し、関連性とは独立した強い順位依存的ユーザー好みが確認された。統計的有意性（p < 0.01）が確認された。

ABSTRACT

"Position bias" describes the tendency of users to interact with items on top of a list with higher probability than with items at a lower position in the list, regardless of the items' actual relevance. In the domain of recommender systems, particularly recommender systems in digital libraries, position bias has received little attention. We conduct a study in a real-world recommender system that delivered ten million related-article recommendations to the users of the digital library Sowiport, and the reference manager JabRef. Recommendations were randomly chosen to be shuffled or non-shuffled, and we compared click-through rate (CTR) for each rank of the recommendations. According to our analysis, the CTR for the highest rank in the case of Sowiport is 53% higher than expected in a hypothetical non-biased situation (0.189% vs. 0.123%). Similarly, in the case of Jabref the highest rank received a CTR of 1.276%, which is 87% higher than expected (0.683%). A chi-squared test confirms the strong relationship between the rank of the recommendation shown to the user and whether the user decided to click it (p &lt; 0.01 for both Jabref and Sowiport). Our study confirms the findings from other domains, that recommendations in the top positions are more often clicked, regardless of their actual relevance.

研究の動機と目的

• デジタル図書館推薦システムにおける順位バイアスの有無とその大きさを調査すること。
• 推薦アイテムの順位が関連性とは独立してユーザーのクリック行動に影響を与えるかどうかを評価すること。
• 実世界のデジタル図書館システムにおける順位バイアスの程度を、実証データを用いて定量化すること。
• 推薦順位とユーザーのクリック率の関係の統計的有意性を評価すること。
• 公平性と正確性を高めるための、証拠に基づく知見を提供すること。

提案手法

• SowiportおよびJabRefという実世界のデジタル図書館システムでA/Bテストを実施し、一部のユーザーに対して推薦リストをランダムにシャッフルした。
• シャッフル済みと非シャッフル済みの条件における、異なる順位の推薦のクリック率（CTR）を比較した。
• 順位とクリック行動の関係の統計的有意性を評価するためにカイ二乗検定を用いた。
• 順位バイアスによるずれを定量化するために、バイアスのない状況下での期待CTRを算出した。
• 二つの異なるデジタル図書館プラットフォームで1,000万件の推薦を分析し、結果の信頼性を確保した。
• 各順位ごとのCTRを測定し、バイアスのない状況を仮定した理論的期待値と観測CTRを比較した。

実験結果

リサーチクエスチョン

• RQ1 順位バイアスは、デジタル図書館推薦システムにおけるユーザーのクリック率にどの程度影響を及ぼすか？
• RQ2 推薦の順位とユーザーのインタラクション確率の間に、統計的に有意な関係があるか？
• RQ3 順位バイアスが存在しない場合に予想される値と比較して、上位順位の推薦のクリック率はどの程度高くなるか？
• RQ4 順位バイアスは、SowiportやJabRefのような異なるデジタル図書館プラットフォームでも同様に現れるか？
• RQ5 関連性とは独立して、順位バイアスはユーザー参加行動をどの程度歪めているか？

主な発見

• Sowiportでは、上位順位の推薦のCTRが0.189%に達し、バイアスのない状況下での期待値0.123%よりも53%高い。
• JabRefでは、上位順位の推薦のCTRが1.276%に達し、バイアスのない状況下での期待値0.683%よりも87%高い。
• カイ二乗検定により、SowiportおよびJabRefの両方で、推薦順位とクリック率の間に統計的に有意な関係があることが確認された（p < 0.01）。
• 本研究では、順位バイアスがユーザー行動の主な要因であることが確認され、関連性とは無関係に上位順位のアイテムが著しく多くのクリックを獲得している。
• デジタル図書館で観察された順位バイアスの程度は顕著であり、ウェブ検索やEC分野の研究結果と同等の規模である。
• 結果から、現在の推薦システムは、関連性よりも順位に基づいてアイテムを優遇する傾向がある可能性があり、ユーザーの発見行動とシステムの公平性を歪めている可能性が示唆された。