[論文レビュー] Toward Building Conversational Recommender Systems: A Contextual Bandit Approach

Xiaoying Zhang, Hong Xie+2 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Bandit Algorithms Research被引用数 7

ひとこと要約

本稿では、行動的フィードバック（例：クリック）に加えて、ユーザーが提供する言語的フィードバック（ユーザーの関心）を組み込むことで、文脈バンディットを拡張する会話型レコメンデーションシステムを提案する。探索を削減し、学習を加速するために、新規のUCBベースのアルゴリズムを用いる。合成データおよびYelp、Toutiaoニュースデータを用いた実験により、本手法が学習速度とレコメンデーション性能の両方を向上させることを確認した。

ABSTRACT

Contextual bandit algorithms have gained increasing popularity in recommender systems, because they can learn to adapt recommendations by making exploration-exploitation trade-off. Recommender systems equipped with traditional contextual bandit algorithms are usually trained with behavioral feedback (e.g., clicks) from users on items. The learning speed can be slow because behavioral feedback by nature does not carry sufficient information. As a result, extensive exploration has to be performed. To address the problem, we propose conversational recommendation in which the system occasionally asks questions to the user about her interest. We first generalize contextual bandit to leverage not only behavioral feedback (arm-level feedback), but also verbal feedback (users' interest on categories, topics, etc.). We then propose a new UCB- based algorithm, and theoretically prove that the new algorithm can indeed reduce the amount of exploration in learning. We also design several strategies for asking questions to further optimize the speed of learning. Experiments on synthetic data, Yelp data, and news recommendation data from Toutiao demonstrate the efficacy of the proposed algorithm.

研究の動機と目的

• 行動的フィードバックが不足するため、従来の文脈バンディットレコメンデーションシステムの学習が遅いという問題に取り組む。
• ユーザーが提供する言語的フィードバック（例：トピックやカテゴリに関する関心）を学習プロセスに統合することで、レコメンデーションの効率を向上させる。
• アームレベル（行動的）およびユーザーレベル（言語的）のフィードバックを活用する新しいUCBベースのアルゴリズムを設計し、収束を高速化する。
• 相互作用中に有用なユーザーのフィードバックを効果的に取得するための質問戦略を設計する。
• YelpやToutiaoニュースデータを含む多様な実世界データセットにおいて、提案手法を実証的に検証する。

提案手法

• 行動的フィードバック（例：クリック）と言語的フィードバック（例：ユーザーの関心に関する発言）の二重フィードバックを組み込むように、文脈バンディットフレームワークを一般化する。
• 両方のフィードバックタイプを用いて、探索と活用のバランスを動的に制御する新しいUCBベースのアルゴリズムを提案し、広範な探索の必要性を低減する。
• ユーザーの関心を引き出すために、カテゴリーやトピックに関する質問を能動的に投げかける質問戦略を設計する。
• ユーザーのフィードバックを側面情報としてモデル化し、文脈ベクトルを豊かにすることで、ポリシー学習を向上させ、レコメンデーションの不確実性を低減する。
• フィードバックを上位信頼区間の計算に統合し、期待報酬が高く不確実性が低い行動を優先する。
• 質問のタイミングと内容を最適化し、情報量を最大化すると同時にユーザー負担を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 ユーザーからの言語的フィードバックを文脈バンディットフレームワークに組み込むことで、効果的なレコメンデーション学習に必要な探索量を顕著に削減できるか？
• RQ2 二重フィードバックを用いた提案されたUCBベースのアルゴリズムは、標準的な文脈バンディット手法と比較して、学習速度とレコメンデーション精度の面で優れているか？
• RQ3 ユーザー体験を損なわせることなく、最も効果的なフィードバック取得が可能な質問戦略は何か？
• RQ4 ユーザーが提供する関心情報の統合が、レコメンデーションシステムにおけるサンプル効率をどの程度向上させるか？
• RQ5 本手法は、ニュースやローカルビジネスレコメンデーションを含む多様なレコメンデーションシナリオにおいて、どの程度頑健であるか？

主な発見

• 提案されたアルゴリズムは、有用な言語的フィードバックを活用することで探索を削減し、標準的な文脈バンディットと比較して収束が速い。
• 合成データを用いた実験では、二重フィードバック手法が、より少ない相互作用回数で高速に学習を達成した。
• Yelpデータでは、ユーザーが提供する関心信号を効果的に活用することで、レコメンデーション性能が向上した。
• Toutiaoニュースレコメンデーションデータセットでは、ターゲットを絞った質問戦略により、サンプル効率が向上した。
• 特に行動的信号が希な低フィードバック環境では、言語的フィードバックの統合が学習速度を顕著に向上させる。
• 最適な質問戦略は、情報量を最大化しながらも、ユーザーの関与を維持するのに効果的であることが判明した。