[論文レビュー] Affective Neural Response Generation

Nabiha Asghar, Pascal Poupart+3 more|arXiv (Cornell University)|Sep 12, 2017

Topic Modeling参考文献 33被引用数 4

ひとこと要約

本稿では、神経的応答生成に感情表現を統合するための3つの新規手法を提案する：認知的に設計された辞書を用いた感情的単語埋め込み、感情的内容を最適化するための感情ベースの損失関数、および感情的に多様なビームサーチによるデコード。実験の結果、これらの手法は生成応答の感情的豊かさと自然さを顕著に向上させ、標準的なSeq2Seqモデルよりも定性的および定量的評価において優れた性能を示した。

ABSTRACT

Existing neural conversational models process natural language primarily on a lexico-syntactic level, thereby ignoring one of the most crucial components of human-to-human dialogue: its affective content. We take a step in this direction by proposing three novel ways to incorporate affective/emotional aspects into long short term memory (LSTM) encoder-decoder neural conversation models: (1) affective word embeddings, which are cognitively engineered, (2) affect-based objective functions that augment the standard cross-entropy loss, and (3) affectively diverse beam search for decoding. Experiments show that these techniques improve the open-domain conversational prowess of encoder-decoder networks by enabling them to produce emotionally rich responses that are more interesting and natural.

研究の動機と目的

• 既存の神経的会話モデルには感情モデリングの欠如が見られ、しばしば一般化されたり感情が乏しい応答を生成するという問題に対処すること。
• 複数の補完的技術を統合することで、感情知能を統合し、オープンドメイン対話システムの性能を向上させること。
• 神経モデルが文法的に正しいだけでなく、感情的に適切で魅力的な応答を生成できることを可能にすること。
• 推論時に明示的な感情入力を必要としない手法を開発することで、実世界の応用においてより実用的であることを目指すこと。
• 感情的要素を効果的に組み合わせることで、応答品質をさらに向上させられることを実証すること。

提案手法

• 感情的単語埋め込みは、認知的に設計された3次元感情的辞書を用いて学習され、感情的に類似した語が空間的に近くなるように語の埋め込みを生成する。
• 標準的な交差エントロピー損失に感情的内容を最大化する項を追加することで、感情ベースの目的関数を導入し、例えばAffective Content (AC) 損失のようなものを用いる。
• 感情的に多様なビームサーチ（ADBS）を提案し、語レベル（WL-ADBS）および文レベル（SL-ADBS）の2つのバージョンを提供し、デコード中に感情表現の多様性を促進する。
• モデルはエンコーダ・デコーダLSTMフレームワークを用いて訓練され、感情的埋め込みを入力とし、組み合わせた損失関数で訓練を誘導する。
• デコードプロセスでは、感情プロファイルの多様性を優先するように変更されたビームサーチが使用され、文の流れを損なわず、感情の多様性を向上させる。
• 本手法はオープンドメイン会話データセット上で評価され、標準的なSeq2Seqモデルおよび他の感情的ベースラインと比較された。

実験結果

リサーチクエスチョン

• RQ1 感情的単語埋め込みは、神経的応答生成モデルの感情的豊かさを向上させることができるか？
• RQ2 感情ベースの損失関数を組み込むことで、より感情的に豊かで文脈的に適切な応答が得られるか？
• RQ3 感情的に多様なビームサーチは、文の流れを損なわず、生成応答の感情的多様性を向上させられるか？
• RQ4 感情的埋め込み、損失関数、デコード戦略をどれだけ効果的に組み合わせることで、応答品質をさらに向上させられるか？
• RQ5 本手法は、感情に配慮したモデル（例：Emotional Chatting Machine: ECM）と比較して、実用性および性能面で優れているか？

主な発見

• 感情的単語埋め込みとAffective Content (AC) 損失関数の組み合わせは、標準的なSeq2Seqモデルと比較して、感情的適切さと応答品質を顕著に向上させる。
• 感情的に多様なビームサーチ（SL-ADBS）は、標準的なビームサーチおよびハミングベースの多様性手法を上回り、感情的に多様で文脈的に適切な応答を生成する。
• 感情的埋め込み、AC損失、およびSL-ADBSの3要素を統合した場合、最も優れた全体的な性能が得られ、これらの戦略が直交的かつ補完的であることが示された。
• 事例研究では、感情的要素を備えたモデルが、「まだ愛してるよ！」や「自殺だよ！」といった感情的に洗練された魅力的な応答を生成する一方で、一般的な出力「気にしないでよ」に比べて優れていることが明らかになった。
• 本手法は、ユーザーがターゲット感情を指定する必要がないため、ECMなどの既存モデルよりも実世界での展開に適しており、実用性に優れている。
• 定量的評価では、最良のモデルバージョンが感情的適切さおよび多様性の指標で顕著な向上を示し、提案された感情的統合戦略の有効性が裏付けられた。