[論文レビュー] Recommendation as a Communication Game: Self-Supervised Bot-Play for Goal-oriented Dialogue

Dongyeop Kang, Anusha Balakrishnan+4 more|arXiv (Cornell University)|Sep 9, 2019

Topic Modeling参考文献 28被引用数 7

ひとこと要約

本論文では、人間同士の映画推薦対話を捉えた新しいデータセット GoRecDial を用いて、目的志向型対話エージェントの訓練のための2段階フレームワークを提案する。このフレームワークでは、まず人間の模倣行動に基づいてモデルを微調整し、その後自己教師付きボット同士の対話によってモデルを精錬することで、対話戦略が著しく向上し、教師あり学習のみに比べて目標達成率が27.7%相対的に向上した。

ABSTRACT

Traditional recommendation systems produce static rather than interactive recommendations invariant to a user's specific requests, clarifications, or current mood, and can suffer from the cold-start problem if their tastes are unknown. These issues can be alleviated by treating recommendation as an interactive dialogue task instead, where an expert recommender can sequentially ask about someone's preferences, react to their requests, and recommend more appropriate items. In this work, we collect a goal-driven recommendation dialogue dataset (GoRecDial), which consists of 9,125 dialogue games and 81,260 conversation turns between pairs of human workers recommending movies to each other. The task is specifically designed as a cooperative game between two players working towards a quantifiable common goal. We leverage the dataset to develop an end-to-end dialogue system that can simultaneously converse and recommend. Models are first trained to imitate the behavior of human players without considering the task goal itself (supervised training). We then finetune our models on simulated bot-bot conversations between two paired pre-trained models (bot-play), in order to achieve the dialogue goal. Our experiments show that models finetuned with bot-play learn improved dialogue strategies, reach the dialogue goal more often when paired with a human, and are rated as more consistent by humans compared to models trained without bot-play. The dataset and code are publicly available through the ParlAI framework.

研究の動機と目的

• ユーザーの要望、気分、新規ユーザー（コールドスタートユーザー）への対応に失敗する静的で非対話型の推薦システムの限界を是正すること。
• 映画レビュー（MovieLens）からの実際のユーザーの好みに基づいた、合成的または暗黙的な好みではなく、大規模かつ目的志向の対話データセットを構築すること。
• 教師あり模倣と自己教師付きボット同士の対話の両方を組み合わせた2段階の訓練フレームワークを開発し、対話戦略と目標達成の両方を向上させること。
• ボット対話の微調整が、人間との対話においてより効果的で一貫性があり、目的志向の強い対話エージェントを生み出すかどうかを評価すること。

提案手法

• 1人のプレイヤー（エキスパート）が5つの映画の中から1つを推薦し、受け手の視聴履歴に基づいて1つの正しいターゲットが存在する、9,125件の対話と81,260ターンからなる人間同士の対話データセット（GoRecDial）を収集する。
• 人間の模倣行動を再現するために、人間のデモンストレーションに基づいてエンドツーエンドで教師あり微調整により対話モデルを訓練する。
• 2つのペairedで事前に訓練されたモデルが合成対話を生成する自己教師付きボット同士の対話フェーズを実装し、目的志向の戦略を精錬する。
• 目標達成（正しい推薦）と対話効率（ターン数）に基づくゲームベースの報酬信号を用いる。
• シミュレートされたボット同士の会話による微調整を通じて、好みの引き出しや効率的な推薦といった戦略的行動を向上させる。
• 最終モデルをゼロショット設定で人間の受け手と評価し、教師あり学習のみのモデルと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きボット対話による微調整は、教師あり模倣を超えて、推薦エージェントの目的志向型対話戦略を改善できるか？
• RQ2 MovieLens からの実際のユーザーの好みが、対話ベースの推薦の質と一貫性にどのように影響するか？
• RQ3 人間のデモンストレーションによる訓練に続いてボット対話による微調整を施すことで、教師あり学習のみの訓練に比べて、推薦目標の達成率が向上するか？
• RQ4 ボット対話の過程で、対話の長さと戦略はどのように変化するか？また、これは性能向上と相関するか？

主な発見

• ボット対話による微調整を施した BERT-R モデルは、教師あり学習のみのベースラインに比べて、目標達成率が27.7%相対的に向上した。
• 成功は向上したが、平均対話長は1.4ターンから3.2ターンに増加しており、より長く戦略的な会話が目標達成に有効であることが示唆された。
• 人間の評価者により、ボット対話微調整モデルは教師あり学習モデルに比べて著しく一貫性があり、より魅力的であると評価された。
• 人間の受け手とペairedで使用した際、ボット対話モデルは教師ありモデルを上回り、人間の好みや戦略とよりよく一致していることが示された。
• ボット対話で訓練されたモデルは、受け手が人間であっても、好みの引き出しや正確な推薦の能力が向上していた。
• 結果から、自己教師付きボット対話が、推薦タスクにおける複雑な目的志向型対話戦略を学習するのに有効であることが裏付けられた。