[論文レビュー] Conversational Recommender System

Yueming Sun, Yi Zhang|arXiv (Cornell University)|Jun 8, 2018

Recommender Systems and Techniques参考文献 7被引用数 7

ひとこと要約

本論文は、対話システムとレコメンデーションシステムを統合する包括的な深層強化学習フレームワークを提案し、会話型レコメンデーションエージェントを構築する。ユーザーの好みを動的で準構造的なファセット-値クエリとしてモデル化し、ポリシー・ネットワークを用いてセッションベースの利便性を最適化することで、シミュレーションおよびオンラインユーザー実験の両方でベースライン手法を上回り、より少ないターンで高いコンversion率を達成する。

ABSTRACT

A personalized conversational sales agent could have much commercial potential. E-commerce companies such as Amazon, eBay, JD, Alibaba etc. are piloting such kind of agents with their users. However, the research on this topic is very limited and existing solutions are either based on single round adhoc search engine or traditional multi round dialog system. They usually only utilize user inputs in the current session, ignoring users' long term preferences. On the other hand, it is well known that sales conversion rate can be greatly improved based on recommender systems, which learn user preferences based on past purchasing behavior and optimize business oriented metrics such as conversion rate or expected revenue. In this work, we propose to integrate research in dialog systems and recommender systems into a novel and unified deep reinforcement learning framework to build a personalized conversational recommendation agent that optimizes a per session based utility function.

研究の動機と目的

• 既存の会話型エージェントが長期的なユーザーの好みを無視し、単一ラウンドまたはタスク特化型の対話に依存しているというギャップを解消すること。
• パーソナライズドレコメンデーションモデルを対話システムと統合し、ユーザー満足度とコンversion率や収益といったビジネス指標の向上を図ること。
• 現在および過去のユーザーデータに基づき、いつ好みの情報を収集するか、またはレコメンデーションを出すかを動的に意思決定する強化学習ベースの対話ポリシーを開発すること。
• ユーザー状態を、自然言語入力を分析する信念トラッカーによってリアルタイムで更新される、ファセット-値ペアの準構造的クエリとしてモデル化すること。
• シミュレーテッド環境と実際のオンラインユーザー実験の両方を用いてフレームワークを評価し、実用的導入における有効性を示すこと。

提案手法

• 信念トラッカーが各対話ターンで更新する動的で準構造的なユーザークエリ（ファセット-値ペアの組み合わせ）として、ユーザーの会話履歴を表現する。
• 対話マネージャーのためのタスク特化型アクション空間を設計し、ファセット値の要求（例：価格帯、場所）や製品レコメンデーションの実行を含む。
• セッションベースの利便性関数を最大化するように、強化学習を用いて深層ポリシー・ネットワークを訓練し、情報収集とレコメンデーションタイミングのバランスを最適化する。
• ユーザーの長期的レーティング履歴とリアルタイムの会話コンテキストの両方を活用して予測を行うパーソナライズドレコメンデーションモデルを統合する。
• ユーザー発話をデキシファル化し、合成された対話トラジェクトリを生成することで、信念トラッカーの事前学習をシミュレーテッドユーザー相互作用を用いて行う。
• ヒット率、ターン数、レコメンデーション品質といったレコメンデーション成功指標に基づく報酬関数を定義し、全会話セッションにわたって最適化する。

実験結果

リサーチクエスチョン

• RQ1 対話システムとレコメンデーションシステムを統合する包括的なフレームワークは、独立したアプローチと比較して会話型レコメンデーションのパフォーマンスを向上させることができるか？
• RQ2 対話管理に長期的ユーザー好みを組み込むことで、レコメンデーションの正確性とユーザー満足度にどのような影響を与えるか？
• RQ3 複数ラウンドの会話において、ユーザー好みの収集と適切なタイミングでのレコメンデーションの最適なバランスは何か？
• RQ4 セッションベースの報酬関数を用いた強化学習は、コンversion率や対話長といった重要な指標をどの程度向上させることができるか？
• RQ5 実世界のユーザー実験において、本手法はルールベースまたは非パーソナライズドベースラインと比較してどのように差をつけるか？

主な発見

• オンラインユーザー実験において、提案された会話型レコメンデーションモデル（CRM）は28.85%の成功率を達成し、MaxEnt Fullベースライン（22.12%）を顕著に上回った。
• CRMでは平均ターン数が3.79にまで低下したのに対し、MaxEnt Full手法では4.58であったため、対話の効率性が向上した。
• CRMは平均して3〜4つのファセットを収集した後でレコメンデーションを実行したが、MaxEnt Full手法は全5つのファセットを収集した後にのみレコメンデーションを開始したため、意思決定がより迅速であった。
• シミュレーション環境では、CRMはより高いヒット率と、セッションベースの利便性関数のより良い最適化を達成し、ユーザーの負荷低減の有効性が確認された。
• 本システムは、長期的ユーザー好みとリアルタイムの会話コンテキストを統合することで、より正確で的確なレコメンデーションが可能であることを示した。
• 結果から、注意深く設計された報酬関数を用いた強化学習により、情報収集とレコメンデーション配信の最適なトレードオフをエージェントが学習可能であることが示唆された。