[論文レビュー] Affect-LM: A Neural Language Model for Customizable Affective Text Generation

Sayan Ghosh, Mathieu Chollet+3 more|arXiv (Cornell University)|Apr 22, 2017

Topic Modeling参考文献 20被引用数 22

ひとこと要約

Affect-LM は、感情分類とカスタマイズ可能な感情強度パラメータ β を条件として用いる、LSTMに基づく新しいニューラル言語モデルであり、感情色を帯びた会話文を生成する。平均パープレキシティの低下（1.94%）という言語モデル性能の向上に加え、5つの感情分類において文法的に正しい、知覚的に表現力のある文を生成する。これは、クラウドソーシングによる知覚研究および感情を区別する単語埋め込みによって検証された。

ABSTRACT

Human verbal communication includes affective messages which are conveyed through use of emotionally colored words. There has been a lot of research in this direction but the problem of integrating state-of-the-art neural language models with affective information remains an area ripe for exploration. In this paper, we propose an extension to an LSTM (Long Short-Term Memory) language model for generating conversational text, conditioned on affect categories. Our proposed model, Affect-LM enables us to customize the degree of emotional content in generated sentences through an additional design parameter. Perception studies conducted using Amazon Mechanical Turk show that Affect-LM generates naturally looking emotional sentences without sacrificing grammatical correctness. Affect-LM also learns affect-discriminative word representations, and perplexity experiments show that additional affective information in conversational text can improve language model prediction.

研究の動機と目的

• 感情の強度をカスタマイズ可能な感情的強度を備えた会話的テキストを生成するニューラル言語モデルの開発。
• 文脈語からの感情的情報が言語モデルの予測性能を向上させるかどうかの調査。
• 感情の表現力と文法的正しさの観点から、生成された文の知覚的品質の評価。
• モデルが感情の意味を反映する感情を区別する単語表現を学習しているかどうかの探求。

提案手法

• モデルは、LIWC辞書を用いたキーワード検出により得られる感情分類埋め込みベクトル et−1 を追加することで、LSTM言語モデルを拡張する。
• カスタマイズ可能な感情強度パラメータ β が、生成テキストにおける感情表現の強度を制御する。
• モデルは文脈隠れ状態 ht と感情分類埋め込み et−1 を用いて次の単語 wt を予測し、感情と単語の相関関係を捉える共有出力重み行列 V を使用する。
• モデルは Fisher 会話コーパスで学習され、DAIC、SEMAINE、CMU-MOSI の感情付き音声コーパスでファインチューニングされる。
• 感情分類は、LIWCベースのキーワード検出システムを用いて、文脈内の感情色を持つ語から自動的に推定される。
• 各単語の埋め込みがその感情カテゴリを反映しているかどうかを評価するため、単語埋め込みが可視化される。

実験結果

リサーチクエスチョン

• RQ1 Affect-LM は、カスタマイズ可能なモデルパrameter β を用いて、目的の感情に対して、感情強度の異なる文を生成できるか？
• RQ2 クラウドソーシングによる知覚研究で、生成された文は感情的に表現力があり、文法的に正しいと評価されるか？
• RQ3 文脈語からの感情分類の自動推定が、パープレキシティで測定される言語モデル性能の向上に寄与するか？
• RQ4 Affect-LM が学習した単語表現は、感情カテゴリ間の感情的差異を反映しているか？

主な発見

• Amazon Mechanical Turk を用いた知覚研究により、Affect-LM が、β が増加するにつれて、5つの感情分類（happy, sad, angry, anxious, positive）の感情的表現力のある文を生成することが確認された。
• β 値が高くなるにつれて文法的正しさが低下したが、依然として受け入れ可能であり、特に sad および anxious のカテゴリで β=3 のときのみ顕著な低下が観察された。
• Fisher コーパスでは平均パープレキシティが 1.94%（73.98 から 72.54 へ）低下し、適応されたコーパスでは 1.31%（60.05 から 59.26 へ）低下し、言語モデル性能の向上が示された。
• Pillai の Trace F(4,421)=6.44, p<.0001 により、β を用いた感情の価値および不安レベルの有意義な操作が確認された。
• 図 4 に示される単語埋め込みの可視化では、ポジティブな感情がネガティブな感情（sad, angry, anxious）とは明確にクラスタリングされていることが確認され、感情を区別する学習が行われていることが裏付けられた。
• 感情語の密度が高いコーパス（例：CMU-MOSI および SEMAINE）では、より大きなパープレキシティの改善が観察され、それぞれ 3.55 点および 2.06 点の低下が確認された。