[論文レビュー] Exploring Choice Overload in Related-Article Recommendations in Digital Libraries

Felix Beierle, Akiko Aizawa+1 more|arXiv (Cornell University)|Apr 3, 2017

Recommender Systems and Techniques参考文献 11被引用数 7

ひとこと要約

本研究では、Sowiport（340万件の推薦を含む）の実世界データを用いて、デジタル図書館の推薦システムにおける選択過多の影響を、表示される関連記事推薦件数に応じたクリック率（CTR）の分析を通じて調査している。CTRは推薦件数が増えるにつれて著しく低下し、1件表示の際にピーク（CTR ≈ 0.35％）に達する。また、1件から10〜11件に増加させてもクリック数はわずかに2倍にしかならず、ユーザーが少数の推薦に対して選択過多を経験していることが示唆される。

ABSTRACT

We investigate the problem of choice overload - the difficulty of making a decision when faced with many options - when displaying related-article recommendations in digital libraries. So far, research regarding to how many items should be displayed has mostly been done in the fields of media recommendations and search engines. We analyze the number of recommendations in current digital libraries. When browsing fullscreen with a laptop or desktop PC, all display a fixed number of recommendations. 72% display three, four, or five recommendations, none display more than ten. We provide results from an empirical evaluation conducted with GESIS' digital library Sowiport, with recommendations delivered by recommendations-as-a-service provider Mr. DLib. We use click-through rate as a measure of recommendation effectiveness based on 3.4 million delivered recommendations. Our results show lower click-through rates for higher numbers of recommendations and twice as many clicked recommendations when displaying ten instead of one related-articles. Our results indicate that users might quickly feel overloaded by choice.

研究の動機と目的

• デジタル図書館において、関連記事推薦の表示件数を増やすと選択過多が生じるかどうかを調査すること。
• ユーザーのクリック行動に基づいて、表示する推薦の最適な件数を特定すること。
• 実世界のクリック率データを用いて、さまざまなサイズの推薦セットの有効性を評価すること。
• 理論的期待とは対照的に、実証的なCTRトレンドを分析することで、推薦セットサイズに関する仮定に疑問を呈すること。
• 学術的デジタル図書館におけるレコメンデーションシステム設計に、データドリブンな知見を提供すること。

提案手法

• Mr. DLibのレコメンデーション・アズ・ア・サービス（RaaS）プラットフォームを採用するデジタル図書館Sowiportから、実世界のクリック率データを収集した。
• 1〜15件の表示アイテムを含む、合計340万件の配信済み推薦を分析し、CTRと絶対クリック数を測定した。
• CTRをレコメンデーションの有効性およびユーザー満足度の代理指標として用いた。
• 1〜15件の異なる推薦セットサイズにおけるCTRおよび絶対クリック数を比較した。
• シミュレーションや小規模なユーザースタディを避けて、ライブの本番環境での実証的評価を実施した。
• 解釈にあたっては、重複する推薦やセッション長さなどの潜在的交絡要因を考慮した。

実験結果

リサーチクエスチョン

• RQ1 デジタル図書館において、表示される関連記事推薦の件数がユーザーのクリック率（CTR）にどのように影響を与えるか？
• RQ2 どの推薦セットサイズで選択過多が発生し、ユーザー参加度が低下し始めるか？
• RQ3 推薦件数を増やすと、クリック数も比例的に増加するか？
• RQ4 CTRおよび絶対クリック数は、さまざまな推薦セットサイズでどのように変化するか？
• RQ5 実世界のクリックパターンは、推薦セットサイズに関する理論的期待とどの程度食い違うか？

主な発見

• クリック率（CTR）は、1件の推薦しか表示しない場合に最も高く、約0.35％のピークに達する。
• 推薦件数が増えるにつれてCTRは急速に低下し、15件表示の場合は最小値0.14％にまで低下する。
• 絶対クリック数は推薦件数の増加に伴いわずかに増加するが、1件から15件に増加させた際には17％しか上昇しない（1,000件あたりのクリック数は8.4から9.8に増加）。
• 絶対クリック数を2倍（8.4から17に）にするには、推薦セットサイズを1件から10または11件に増やす必要がある。
• 15件表示の際の1,000件あたりのクリック数は、1件表示時と比べて2.5倍にしかならず、比例的成長ではないことが示唆される。
• 結果から、ユーザーは少数の推薦を超えると選択過多を経験し、参加度に劣化が生じる可能性があることが示唆される。