[論文レビュー] Annotation and Detection of Emotion in Text-based Dialogue Systems with CNN

Jialiang Zhao, Qi Gao|arXiv (Cornell University)|Oct 3, 2017

Sentiment Analysis and Opinion Mining参考文献 8被引用数 3

ひとこと要約

本稿では、中国語テキストベースの対話における感情検出のための深層畳み込みニューラルネットワーク（CNN）ベースのモデルであるEmoNetを提案する。従来の前処理（分かち書きやキーワード抽出など）を回避することで、言語的順序と文脈を保持する。残差接続を備えた深層CNNアーキテクチャとエンドツーエンド学習を活用し、12,000件の対話から成るデータセットでトップ1の正確度72.8％を達成し、マルチクラス感情検出分野の最先端手法を上回った。

ABSTRACT

Knowledge of users' emotion states helps improve human-computer interaction. In this work, we presented EmoNet, an emotion detector of Chinese daily dialogues based on deep convolutional neural networks. In order to maintain the original linguistic features, such as the order, commonly used methods like segmentation and keywords extraction were not adopted, instead we increased the depth of CNN and tried to let CNN learn inner linguistic relationships. Our main contribution is that we presented a new model and a new pipeline which can be used in multi-language environment to solve sentimental problems. Experimental results shows EmoNet has a great capacity in learning the emotion of dialogues and achieves a better result than other state of art detectors do.

研究の動機と目的

• 言語的構造と文脈を保持する中国語対話用の強固な感情検出システムの開発。
• 分かち書きやキーワード抽出などの従来の前処理の限界を克服し、語順の歪みや感情のニュアンスの損失を防ぐ。
• 手動による特徴工学を伴わないエンドツーエンド分類において、深層CNNの有効性を評価する。
• 中国語テキスト感情検出分野における既存の最先端モデルと比較して、EmoNetの性能を評価する。

提案手法

• EmoNetは、32、64、128、256次元の畳み込みフィルタを備えた9層の深層CNNを採用し、マックスプーリングと全結合層を経由する。
• モデルは、分かち書きやステミングを回避して、生のUTF-8エンコード済み中国語文字を直接処理することで、語順と句構造的文脈を保持する。
• ノイズ低減と学習効率の向上を目的として、ストップワードを入力シーケンスから削除するが、シーケンスの順序は維持する。
• 従来のLUTベースの単語頻度エンコーディングによるベクトル化に代わる、リサンプリング技術を用いて入力長を標準化する。
• 最適化のため、グリッドサーチを用いて学習率（γ = 5×10⁻⁶）とL2正則化（L = 1.5×10⁻⁴）などのハイパーパrameterを調整する。
• 活性化関数にReLU、正則化にドロップアウト、多クラス出力にソフトマックスを用いる。出力クラスは、ポジティブ、ネガティブ、ワonderイング、ニュートラルの4つ。

実験結果

リサーチクエスチョン

• RQ1 分かち書きやキーワード抽出なしに、深層CNNモデルが中国語対話の感情を、言語的順序を保持して検出可能か？
• RQ2 EmoNetの性能は、中国語テキストベースの対話システムにおける既存の最先端感情検出器と比較してどうか？
• RQ3 前処理ステップの欠如が、感情検出の正確度とモデルの汎化性能に与える影響は何か？
• RQ4 なぜポジティブ感情の正確度が他のクラスより低く、これはトレーニングデータにおける皮肉や曖昧な表現とどのように関係しているのか？

主な発見

• 100エポックの学習後、12,000件の対話から成るテストセットでEmoNetはトップ1の正確度72.8％を達成し、Multi-Modal Net（65.48％）とESiNを上回った。
• 『ワonderイング』感情の検出で最高の正確度85％を記録した。これは、疑問符や疑問詞といった明示的なマーカーが存在するためとされる。
• ニュートラル感情の検出が最も高い正確度73％を記録したが、明確な感情的サインが欠落しているため、多くの誤検出（偽陽性）が発生した。
• ポジティブ感情の検出正確度が最も低く、57％にとどまった。これは、トレーニングデータに皮肉や曖昧な表現が多く含まれており、人間でさえも区別が難しいためと推測される。
• ニュートラル状態の性能（73％）は、Multi-Modal Net（71.37％）を上回り、ESiNのピーク性能（80％以上）と同等であった。
• 最適化されたハイパーパrameter（γ = 5×10⁻⁶、L = 1.5×10⁻⁴）が最良の結果をもたらし、訓練曲線から最初のエポックで損失が安定して低下した。