[論文レビュー] INSPIRED: Toward Sociable Recommendation Dialog Systems

Shirley Anugrah Hayati, Dongyeop Kang+3 more|arXiv (Cornell University)|Sep 29, 2020

Topic Modeling参考文献 35被引用数 12

ひとこと要約

本稿では、社会的科学理論に基づいた会話戦略を付与した1,001件のヒト同士の映画推薦対話から構成される新しいデータセット、Inspiredを紹介する。これらの戦略（励ましや個人の意見など）をエンドツーエンド対話モデルに組み込むことで、著者らは自動評価指標および人間評価において、特に説得力と会話の魅力の面でベースラインを上回るシステムを実現した。

ABSTRACT

In recommendation dialogs, humans commonly disclose their preference and make recommendations in a friendly manner. However, this is a challenge when developing a sociable recommendation dialog system, due to the lack of dialog dataset annotated with such sociable strategies. Therefore, we present INSPIRED, a new dataset of 1,001 human-human dialogs for movie recommendation with measures for successful recommendations. To better understand how humans make recommendations in communication, we design an annotation scheme related to recommendation strategies based on social science theories and annotate these dialogs. Our analysis shows that sociable recommendation strategies, such as sharing personal opinions or communicating with encouragement, more frequently lead to successful recommendations. Based on our dataset, we train end-to-end recommendation dialog systems with and without our strategy labels. In both automatic and human evaluation, our model with strategy incorporation outperforms the baseline model. This work is a first step for building sociable recommendation dialog systems with a basis of social science theories.

研究の動機と目的

• 自然で会話的な推薦対話データセットが、効果的なコミュニケーション戦略のアノテーションを欠いているという問題に対処すること。
• 励ましや個人の意見といった社会的戦略が、ヒト同士の会話における成功した推薦にどのように影響するかを調査すること。
• 会話的戦略を統合することで、推薦対話における説得力、関与度、自然さを向上させる対話システムを開発すること。
• 自動評価および人間評価を通じて、エンドツーエンド推薦対話システムにおける戦略ベースのモデリングの有効性を検証すること。

提案手法

• 自由な形式で、スクリプト制約なしにクラウドワーカーから1,001件の自然な二人称の映画推薦対話を収集する。
• 社会的科学理論に基づいた戦略アノテーションスキームを設計し、励まし、類似性、個人の意見などの会話的戦略を各発話にラベル付ける。
• 入力シーケンスの先頭に戦略トークン（例：'encouragement'）を付加することで、生成をガイドするエンドツーエンド対話モデルを訓練する。
• 推薦意図を95.4%の正確度と91.2%のF1スコアで検出できるBERTベースの分類器を用い、推薦生成を強制する。
• 自動評価指標（パープレキシティ、BLEU-4）と人間評価（流れ、一貫性、自然さ、説得力、関与度）を用いてモデルを評価する。
• 戦略監視なしのベースラインモデルと戦略拡張モデルを比較し、最良の戦略組み合わせ（例：'encouragement'のみ）を選択する。

実験結果

リサーチクエスチョン

• RQ1 励ましや個人の意見といった会話的推薦戦略は、ヒトの会話における成功した推薦と相関しているか？
• RQ2 エンドツーエンド対話モデルに会話的戦略を組み込むことで、推薦の質と説得力が向上するか？
• RQ3 人間ユーザーは、会話的戦略を用いる対話システムとそうでないものとの間で、自然さと関与度にどのように差を感じるか？
• RQ4 どの特定の会話的戦略が、推薦の成功と対話品質の向上に最も効果的か？

主な発見

• 戦略拡張モデルは、ベースラインと比較して、より低いパープレキシティ（8.93 vs. 9.28）と高いBLEU-4スコア（6.63 vs. 5.11）を達成しており、生成品質の向上を示している。
• 人間評価において、参加者は全5項目（流れ、一貫性、自然さ、説得力、関与度）で戦略拡張モデルを好んだ。
• モデル間の最も顕著な差は関与度に感じられ、次に自然さが続いた。これは、会話的戦略がユーザーの関与度を高めることを示唆している。
• 'encouragement'戦略のみが最も優れたパフォーマンスを示し、'encouragement + similarity'などの組み合わせを上回った。
• BERTベースの推薦分類器は、発話から推薦意図を検出する際、95.4%の正確度と91.2%のF1スコアを達成した。