[論文レビュー] A Simple Dual-decoder Model for Generating Response with Sentiment

Xiuyu Wu, Yunfang Wu|arXiv (Cornell University)|May 16, 2019

Topic Modeling参考文献 16被引用数 8

ひとこと要約

本論文では、共有エンコーダに接続された2つのセンチメント固有のデコーダーを備えた単純なデュアルデコーダー・シークエンス・トゥ・シークエンス・モデルを提案する。このモデルは、指定されたセンチメントで応答を生成でき、センチメント精度（単一デコーダーベースライン比で最大25.1ポイント向上）と語彙多様性（distinct-1およびdistinct-2スコアがほぼ10ポイント向上）の面で顕著な向上を示し、センチメント表現および応答の多様性に対する優れた制御を実現している。

ABSTRACT

How to generate human like response is one of the most challenging tasks for artificial intelligence. In a real application, after reading the same post different people might write responses with positive or negative sentiment according to their own experiences and attitudes. To simulate this procedure, we propose a simple but effective dual-decoder model to generate response with a particular sentiment, by connecting two sentiment decoders to one encoder. To support this model training, we construct a new conversation dataset with the form of (post, resp1, resp2) where two responses contain opposite sentiment. Experiment results show that our dual-decoder model can generate diverse responses with target sentiment, which obtains significant performance gain in sentiment accuracy and word diversity over the traditional single-decoder model. We will make our data and code publicly available for further study.

研究の動機と目的

• オープンドメイン対話システムにおける多様でセンチメント制御された応答生成の課題に取り組むこと。
• センチメント精度と応答多様性の両面で困難を抱える単一デコーダーモデルの改善を図ること。
• 訓練および評価のための、逆のセンチメントを持つペア応答を備えた新しい会話データセットを構築すること。
• 特定のセンチメントを持つ応答を条件付きで生成できる、シンプルだが効果的なデュアルデコーダー・アーキテクチャを開発すること。

提案手法

• 共有エンコーダーが入力ポストを処理し、両方のデコーダーに共通の文脈表現を生成する。
• ポジティブセンチメント用とネガティブセンチメント用の2つの別個のデコーダーを訓練する。両者とも同じエンコード済みポストに条件付けられる。
• 推論時にはセンチメントラベルを用いて適切なデコーダーを選択することで、ターゲットセンチメントの制御を保証する。
• 各デコーダーがセンチメント固有のトレーニングデータに基づいて応答を生成するように学習するデュアルデコーダー構造を採用する。
• エンコーダおよびデコーダーの両方で、300次元の単語埋め込みと100次元の隠れ状態を使用する。
• センチメントスコアは語彙ベースの手法により計算される：$\text{scoreSent} = N_{\text{pos}} - N_{\text{neg}}$。正の/負のセンチメントは符号に基づいて割り当てられる。

実験結果

リサーチクエスチョン

• RQ1 シンプルなデュアルデコーダーアーキテクチャは、多様性を維持しつつ、指定されたセンチメントを持つ応答を効果的に生成できるか？
• RQ2 センチメント精度および応答多様性の観点から、デュアルデコーダーモデルは単一デコーダーモデルと比べてどのように差をつけるか？
• RQ3 モデルは生成された応答において、センチメント固有の語彙をどれだけ正しく捉え、適切に使用できるか？
• RQ4 訓練時にペアで提供されたポジティブおよびネガティブ応答を使用することで、センチメント制御および生成品質が向上するか？

主な発見

• デュアルデコーダーモデルはテストセットで89.1%のセンチメント精度を達成し、単一デコーダーベースライン（64.0%）と比較して25.1ポイント向上した。
• 単一デコーダーベースラインと比較して、distinct-1およびdistinct-2指標において語彙多様性がほぼ10ポイント向上した。
• デュアルデコーダーモデルは生成された応答で、496種類のポジティブセンチメント語彙と591種類のネガティブセンチメント語彙を用い、ベースラインと比較してより広範なセンチメント語彙の使用を示した。
• 誤ったセンチメント語の使用エラー率は、ネガティブ応答で6.2%、ポジティブ応答で8.3%に低下し、センチメントの一貫性が向上したことを示している。
• 定性的な事例研究により、生成された応答が明確に意図されたセンチメントを反映しており、より多様でセンチメントに一貫性のある応答が生成されていることが示された。