[論文レビュー] An Affect-Rich Neural Conversational Model with Biased Attention and Weighted Cross-Entropy Loss

Peixiang Zhong, Di Wang+1 more|arXiv (Cornell University)|Nov 17, 2018

Mental Health via Writing被引用数 10

ひとこと要約

本稿では、感情の価値（valence）、覚醒（arousal）、優位性（dominance）（VAD）という感情次元を豊富に含む応答を生成するエンド・ツー・エンドのニューラル会話モデル、Affect-Rich Seq2Seq（AR-S2S）を提案する。このモデルは、VAD単語埋め込み、否定語や強調語の影響を強化するためのバイアス付きアテンション機構、感情豊富な語の生成を促進するための重み付き交差エントロピー損失関数を統合しており、最先端のベースラインと比較して感情の質と内容の両面で優れた人間の好みを達成している。

ABSTRACT

Affect conveys important implicit information in human communication. Having the capability to correctly express affect during human-machine conversations is one of the major milestones in artificial intelligence. In recent years, extensive research on open-domain neural conversational models has been conducted. However, embedding affect into such models is still under explored. In this paper, we propose an end-to-end affect-rich open-domain neural conversational model that produces responses not only appropriate in syntax and semantics, but also with rich affect. Our model extends the Seq2Seq model and adopts VAD (Valence, Arousal and Dominance) affective notations to embed each word with affects. In addition, our model considers the effect of negators and intensifiers via a novel affective attention mechanism, which biases attention towards affect-rich words in input sentences. Lastly, we train our model with an affect-incorporated objective function to encourage the generation of affect-rich words in the output responses. Evaluations based on both perplexity and human evaluations show that our model outperforms the state-of-the-art baseline model of comparable size in producing natural and affect-rich responses.

研究の動機と目的

• オープンドメインのニューラル会話モデルにおける感情豊富な応答生成の不足を解消すること。
• 入力文における否定語や強調語が感情的意味に与える影響をモデル化すること。
• 応答における感情表現豊富な語の生成を促進しつつ、言語の流暢さを維持すること。
• 感情的豊かさと文法的正しさの両立を図る訓練目的関数の開発。
• 自動評価指標と人間の好みの両方におけるモデル性能の評価。

提案手法

• モデルは、外部コーパスから得た各単語に価値（valence）、覚醒（arousal）、優位性（dominance）のスコアの三つ組みを割り当てる、VADに基づく単語埋め込み層をSeq2Seqアーキテクチャに拡張する。
• 感情豊富な語、特に否定語や強調語の影響を受ける語を優先的に処理する、新しいバイアス付きアテンション機構を提案する。
• アテンション機構は、文脈に基づいて感情的語の影響を評価するため、ユーザー、グローバル、ローカルの3種類の重要度関数を統合する。
• 感情豊富な語に高い損失重みを割り当てる重み付き交差エントロピー損失関数を導入する。
• 標準的な交差エントロピーと感情を組み込んだ重み付き交差エントロピーの両方の目的関数を組み合わせて、エンド・ツー・エンドで学習する。
• 感情埋め込み強度（λ）、アテンションバイアス（γ）、損失重み（δ）といったハイパーパrameterは、感度分析を用いて調整する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル会話モデルは、言語的に流暢でありながら感情的豊富な内容の応答を生成できるか？
• RQ2 否定語や強調語は、感情表現の極性と強度を保ちながら、どのように効果的にモデル化できるか？
• RQ3 埋め込みおよびアテンション機構に感情的知識を統合することで、ベースラインモデルと比較して応答品質が向上するか？
• RQ4 重み付き交差エントロピー損失を導入することで、感情豊富な語の生成が促進され、かつ流暢さが損なわれないか？
• RQ5 感情的強度、アテンションバイアス、損失重みを制御するハイパーパrameterは、モデル性能にどのように影響するか？

主な発見

• 人間の好みのテストにおいて、AR-S2Sは最先端のベースラインと比較して、内容の質で25.0%の相対的改善、感情の質で88.5%の相対的改善を達成した。
• 人間評価では、AR-S2Sがベースラインよりも顕著に好まれており、内容の質と感情の質のそれぞれについて、カッパ係数が0.619および0.704であった。
• 感情的目的を追加しても、パープレキシティは維持またはわずかに改善されたため、流暢さの低下は見られなかった。
• 感度分析の結果、感情損失重み（δ）を増加させると、生成された応答における異なる感情豊富な語の数が一貫して増加した。
• λおよびγの値が中程度の範囲にあるときに、感情豊富な語の数がピークに達し、感情的強度とデコードの安定性の最適なバランスが実現されていることが示された。
• 特にアテンションのローカル重要度重み付けにおいて、モデルは広範なハイパーパrameter値の範囲で頑健であった。