[論文レビュー] Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory

Hao Zhou, Minlie Huang+3 more|arXiv (Cornell University)|Apr 4, 2017

Topic Modeling参考文献 45被引用数 116

ひとこと要約

ECMがオープンドメインの応答を生成する際、関連性・文法性だけでなく感情的一貫性も保つよう、感情カテゴリ埋め込み、内部感情メモリ、外部感情語彙メモリを seq2seq フレームワークに統合する。

ABSTRACT

Perception and expression of emotion are key factors to the success of dialogue systems or conversational agents. However, this problem has not been studied in large-scale conversation generation so far. In this paper, we propose Emotional Chatting Machine (ECM) that can generate appropriate responses not only in content (relevant and grammatical) but also in emotion (emotionally consistent). To the best of our knowledge, this is the first work that addresses the emotion factor in large-scale conversation generation. ECM addresses the factor using three new mechanisms that respectively (1) models the high-level abstraction of emotion expressions by embedding emotion categories, (2) captures the change of implicit internal emotion states, and (3) uses explicit emotion expressions with an external emotion vocabulary. Experiments show that the proposed model can generate responses appropriate not only in content but also in emotion.

研究の動機と目的

• 大規模会話生成に感情を組み込むという課題に対処する。
• 内容適合性と感情整合性を両立するエンドツーエンドのニューラルモデルを開発する。
• 感情表現を制御する三つの機構—感情カテゴリ埋め込み、内部感情メモリ、外部感情メモリ—を導入する。
• 大規模学習のために自動的にアノテーションされた感情ラベル付きデータで学習する。
• 感情認識を組み込んだ生成が内容品質と感情精度の両方を改善するかを評価する。

提案手法

• 感情カテゴリeに条件付けて、post Xを処理して応答Yを生成するようにGRUを用いたエンコーダ-デコーダ seq2seqを拡張する。
• 感情カテゴリベクトルv_eを埋め込み、文脈c_tと前語嵌入e(y_{t-1})とともにデコーダに注入する。
• デコード中の動的な感情状態をモデル化するため、読み書きゲートを備えた内部メモリM^I_e,tを導入し、生成終了時までに零に減衰するようにする。
• 感情語彙を別個に備えた外部感情メモリと、感情生成と一般語生成の重みを決定する型選択子alpha_tを追加し、明示的な感情表現を可能にする。
• トークン予測のクロスエントロピー、感情/一般語選択の監督、内部感情減衰を保証する正則化項を組み合わせた損失で訓練する。
• NLPCCデータで感情分類器を訓練して大規模STCベースコーパス（ESTC）を六つの感情カテゴリでラベル付けし、その後（post, response, emotion）のトリプルでECMを訓練する。

実験結果

リサーチクエスチョン

• RQ1 指定された感情カテゴリに対して、内容適切性と感情的一貫性の双方を満たす応答を、ニューラルなエンコーダ-デコーダフレームワークで生成できるか？
• RQ2 感情カテゴリ埋め込み、内部メモリ、外部メモリは、ベースラインのseq2seqモデルと比較して感情精度と応答の自然さを向上させるか？
• RQ3 提案されたメモリモジュールと感情語彙のアブレーションは、パープレキシティと感情精度にどのような影響を与えるか？
• RQ4 外部メモリを介した明示的な感情語生成は、認識可能な感情表現を生み出すのに有益か？

主な発見

方法	パープレキシティ	精度
Seq2Seq	68.0	0.179
Emb	62.5	0.724
ECM	65.9	0.773
w/o Emb	66.1	0.753
w/o IMem	66.7	0.749
w/o EMem	61.8	0.731

• ECMはベースラインおよびバリアントより感情精度（0.773）が高く、感情表現の改善を示す。
• ECMはパープレキシティ（65.9）でSeq2Seqより良いがEmbベースラインよりわずかに劣り、内容と感情生成の両方の監督を反映している。
• アブレーションは、外部メモリが感情精度を最も高め、内部メモリが文法と感情のバランスを助け、外部メモリを削除すると感情表現が減少することを示す。
• 手動評価は、ECMがSeq2SeqおよびEmbよりContentとEmotionスコアが高く、対比較テストでECMに対する強い嗜好を示した。
• ECMは多様な感情カテゴリに条件付けられた応答を生成する能力を示し、明示的な感情語が表現力を高める。