[論文レビュー] Towards Conversational Recommendation over Multi-Type Dialogs

Zeming Liu, Haifeng Wang+4 more|arXiv (Cornell University)|May 8, 2020

Topic Modeling参考文献 31被引用数 19

ひとこと要約

本稿では、ユーザーの関心やフィードバックを用いて、ボットが非推薦対話（例：QA、雑談）から積極的に推薦対話へと自然に移行する、マルチタイプ対話における会話的レコメンデーションを紹介する。著者らは、目的計画と目的誘導型応答生成を備えたMGCGフレームワークを提案し、体系的な研究を可能にするために10,000件の対話、156,000件の発話から成るDuRecDialデータセットを公開した。このフレームワークは、検索ベースおよび生成ベースのモデルを用いて、目的達成率と一貫性において最先端の結果を達成した。

ABSTRACT

We propose a new task of conversational recommendation over multi-type dialogs, where the bots can proactively and naturally lead a conversation from a non-recommendation dialog (e.g., QA) to a recommendation dialog, taking into account user's interests and feedback. To facilitate the study of this task, we create a human-to-human Chinese dialog dataset \emph{DuRecDial} (about 10k dialogs, 156k utterances), which contains multiple sequential dialogs for every pair of a recommendation seeker (user) and a recommender (bot). In each dialog, the recommender proactively leads a multi-type dialog to approach recommendation targets and then makes multiple recommendations with rich interaction behavior. This dataset allows us to systematically investigate different parts of the overall problem, e.g., how to naturally lead a dialog, how to interact with users for recommendation. Finally we establish baseline results on DuRecDial for future studies. Dataset and codes are publicly available at https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/Research/ACL2020-DuRecDial.

研究の動機と目的

• マルチタイプ人間-ボット対話における非推薦対話から推薦対話への能動的で自然な移行に関する研究の不足に対処すること。
• ボットがQA、雑談、タスク、推薦など複数の対話タイプを経由して、パーソナライズドレコメンデーションへと会話を的確に誘導できるかを検討すること。
• マルチタイプ対話フローにおける効果的な目的計画とトピック移行のため、ユーザーの関心とフィードバックをモデル化すること。
• 多様な対話タイプと相互作用パターンをサポートする大規模かつ人手でアノテートされた多ドメイン対話データセットを構築し、会話的レコメンデーションの研究を促進すること。

提案手法

• ユーザーの関心とトピックの自然さに基づいて、長期的な推薦ターゲットと短期的な目標を決定する目的計画モジュールを備えた、マルチ目的駆動型会話生成（MGCG）フレームワークを提案する。
• 各対話タイプ（例：QA、雑談、タスク、推薦）に対して文脈的に適切で、知識に基づいた応答を生成する目的誘導型応答モジュールを設計する。
• 知識グラフ埋め込みとユーザープロファイル情報を統合し、応答の情報量とパーソナライゼーションを向上させる。
• 検索ベースおよび生成ベースの応答選択戦略を用い、後者はsequence-to-sequenceモデリングを用いてエンドツーエンドで学習する。
• 異なる対話タイプ間の流れを管理しながら一貫性と能動性を維持する、ミックスド目的駆動型対話ポリシーを実装する。
• 自動評価および人的評価指標（目的達成率、一貫性、能動性など）を用いて、新たに公開されたDuRecDialデータセット上でフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチタイプ対話環境において、ボットは非推薦対話（例：QA、雑談）からどのようにして能動的かつ自然に推薦対話へと移行できるか？
• RQ2 ユーザー関心モデリングとフィードバックは、会話的レコメンデーションのための効果的な目的シーケンス計画において果たす役割は何か？
• RQ3 一貫した複数ターンの会話において、多様な対話タイプにまたがって知識の根拠と一貫性をどのように維持できるか？
• RQ4 検索ベースと生成ベースの応答モデルは、マルチタイプ対話システムにおける目的達成率と自然さの面で、どの程度性能が異なるか？
• RQ5 複数の対話タイプを同時に管理する際、高い目的達成率と一貫性を達成する上で直面する主な課題は何か？

主な発見

• 検索ベースおよび生成ベースのモデルを用いたMGCGフレームワークは、S2Sベースラインに比べ、適切さ、情報量、目的達成率、一貫性の面で顕著に優れている。
• 検索ベースのモデルは、実際の人の発話を選択するため、より高い流暢さを達成しているが、候補の多様性が限られるため、目的達成率と情報量の面で劣っている。
• 目的達成率は知識使用量と強く相関している：より多くの知識を使用するモデルは、特にQAや推薦のような知識集約型対話タイプで高い目的達成率を示す。
• 雑談目的はQAや推薦目的よりも達成が容易であることが示され、知識集約型対話タイプの複雑さが顕著に現れている。
• 生成ベースのMGCGモデルは、予測された272件の目的のうち174件（64％の成功率）を達成したが、検索ベースのモデルは288件中158件（55％の成功率）を達成し、S2Sベースラインを上回る性能を示した。
• 人的評価では、MGCGモデルがS2Sベースラインに比べ、より能動的で一貫性があり、目的指向的な応答を生成していることが確認され、適切さと情報量の両面で高いスコアを得た。