[論文レビュー] Improving Recommender Systems Beyond the Algorithm

Tobias Schnabel, Paul N. Bennett+1 more|arXiv (Cornell University)|Feb 21, 2018

Recommender Systems and Techniques参考文献 40被引用数 15

ひとこと要約

本稿では、情報探索理論を用いて、ユーザインターフェース設計によるレコメンドシステムにおける暗黙的フィードバックの形状を提案する。ユーザースタディの結果、情報の香りを高めたりアクセスコストを低くしたりするインターフェース介入により、ユーザーエクスペリエンスを損なわずに学習効果が向上し、アルゴリズム的改善とは補完的な道筋が得られることが示された。

ABSTRACT

Recommender systems rely heavily on the predictive accuracy of the learning algorithm. Most work on improving accuracy has focused on the learning algorithm itself. We argue that this algorithmic focus is myopic. In particular, since learning algorithms generally improve with more and better data, we propose shaping the feedback generation process as an alternate and complementary route to improving accuracy. To this effect, we explore how changes to the user interface can impact the quality and quantity of feedback data -- and therefore the learning accuracy. Motivated by information foraging theory, we study how feedback quality and quantity are influenced by interface design choices along two axes: information scent and information access cost. We present a user study of these interface factors for the common task of picking a movie to watch, showing that these factors can effectively shape and improve the implicit feedback data that is generated while maintaining the user experience.

研究の動機と目的

• レコメンドシステムにおけるアルゴリズム的改善への過剰な注目を是正し、学習性能の向上に向けた非アルゴリズム的ルートを検討すること。
• ユーザインターフェース設計が機械学習に用いられる暗黙的フィードバックデータの質と量にどのように影響するかを調査すること。
• 情報探索理論を、フィードバック生成を促進するインターフェース介入のフレームワークとして応用すること。
• このような介入が、ユーザーエクスペリエンスを損なわず、学習に適したフィードバックデータを改善できるかどうかを評価すること。
• UXデザイナーが機械学習の目的と整合するようにインターフェース設計を最適化できるよう、フィードバックの質と量を実行可能な指標として提案すること。

提案手法

• 情報探索理論を応用し、フィードバック生成を二つの軸（情報の香り（明確な手がかりの有無）と情報へのアクセスコスト（詳細を入手するための努力））に沿った探索プロセスとしてモデル化する。
• 映画レコメンドタスクにおいて、情報の香り（例：タイトル、ポスター、説明文）とアクセスコスト（例：ホバーによるプレビュー vs. クリックによる詳細表示）を変化させたUIバリエーションを設計・実装する。
• 48名の参加者を対象とした制御されたユーザースタディを実施し、異なるインターフェース条件におけるフィードバックデータを比較する。
• フィードバックの量をユーザーの操作数（例：クリック、ホバー）として測定し、フィードバックの質を、選択されたアイテムの平均ユーザー評価として測定する。
• 統計的分析を用いて、インターフェース設計がフィードバック指標およびユーザーの認識に与える影響を評価する。
• UX評価における機械学習効果の代理指標として、フィードバックの質と量を導入する。

実験結果

リサーチクエスチョン

• RQ1 情報の香りと情報へのアクセスコストの変化が、映画レコメンドタスクにおける暗黙的フィードバックの量と質にどのように影響するか？
• RQ2 インターフェース設計の介入によって、フィードバックデータの質と量を向上させつつ、ユーザーエクスペリエンスを損なわないか？
• RQ3 探索的介入は、フィードバックの質を向上させながら、ユーザーの認知的負荷をどの程度低減できるか？
• RQ4 フィードバックの質と量が、レコメンドシステムにおけるUXデザイナーの意思決定を支援する実用的指標としてどのように機能するか？
• RQ5 インターフェース設計において、フィードバックデータの改善と短期的な使いやすさの維持の間に、どのようなトレードオフが存在するか？

主な発見

• より豊かな初期のアイテム表現による情報の香りの向上により、選択されたアイテムの平均ユーザー評価が上昇し、フィードバックの質が顕著に向上した。
• ホバーによるプレビューを可能にすることでアクセスコストを低下させた結果、クリックによる詳細表示と比較してフィードバックの量が25％増加した。
• 高い情報の香りと低いアクセスコストの組み合わせが、最も高いフィードバックの質と量をもたらし、相乗効果が確認された。
• 情報の香りが強く、アクセスコストが低いインターフェースを使用したユーザーは、認知的負荷が低いと報告しており、使いやすさの向上が示された。
• 本研究では、フィードバックの質と量が機械学習効果の信頼できる代理指標であることが確認され、UXデザイナーが実用的な評価フレームワークを用いることが可能になった。
• ホバーベースの操作はフィードバックの量を増加させたが、一部のユーザーからは不快に感じられたと報告され、重要な使いやすさのトレードオフが浮き彫りになった。