[論文レビュー] Fine-grained Emotion and Intent Learning in Movie Dialogues

Anuradha Welivita, Yubo Xie+1 more|arXiv (Cornell University)|Dec 25, 2020

Sentiment Analysis and Opinion Mining参考文献 27被引用数 4

ひとこと要約

本稿では、BERTベースの半教師付き分類器を用いて、32種類の細分化された感情と9種類の共感的応答意図を付与した100万件の映画対話から構成される大規模データセットOSEDを紹介する。この手法により、ハイブリッドな人間計算と自己ラベリングのパイプラインを組み合わせることで、人的ラベル付けコストを削減し、感情分類で65%の正確性を達成した。その結果、自然な人間の社会的相互作用のパターンを反映した高品質なデータセットが得られた。

ABSTRACT

We propose a novel large-scale emotional dialogue dataset, consisting of 1M dialogues retrieved from the OpenSubtitles corpus and annotated with 32 emotions and 9 empathetic response intents using a BERT-based fine-grained dialogue emotion classifier. This work explains the complex pipeline used to preprocess movie subtitles and select good movie dialogues to annotate. We also describe the semi-supervised learning process followed to train a fine-grained emotion classifier to annotate these dialogues. Despite the large set of labels, our dialogue emotion classifier achieved an accuracy of $65\%$ and was used to annotate 1M emotional movie dialogues from OpenSubtitles. This scale of emotional dialogue classification has never been attempted before, both in terms of dataset size and fine-grained emotion and intent categories. Visualization techniques used to analyze the quality of the resultant dataset suggest that it conforms to the patterns of human social interaction.

研究の動機と目的

• 共感的会話エージェントの訓練に適した、大規模で細分化された感情を有する対話データセットと、多様な応答意図を備えたものが不足している現状に対処すること。
• 人間の計算と半教師付き学習を組み合わせることで、対話における細分化された感情と共感的応答意図のラベリングコストと複雑さを低減すること。
• 人間の社会的会話における感情-意図の交換パターンを反映した、汎用的でスケーラブルなデータセットを構築すること。
• 既知の人的相互作用ダイナミクスと照らし合わせて、感情-意図の流れのパターンを可視化することで、自動ラベリングの品質を評価すること。
• より制御可能で解釈可能かつ感情に応じた反応ができる神経系チャットボットの開発を可能にすること。

提案手法

• OpenSubtitlesコーパスの映画字幕を自動的に発話分割および対話分割することで、初期段階で約900万件の対話を抽出し、クリーニングと重複削除を経て400万件に削減した。
• 弱いラベルラーとして、EmpatheticDialoguesデータセットで事前学習されたBERTベースの文単位分類器「EmoBERT」を用い、100万件の感情的に重要な対話を抽出（OSED初期段階）。
• 自己ラベリングと文の類似度技術を用いた半教師付き学習パイプラインにより、EmoBERTを改善したEmoBERT+に発展させ、分類性能を向上させた。
• OSED初期段階にEmoBERT+を訓練することで、100万件の最終的OSEDデータセットを生成し、各発話に対して32種類の細分化された感情と9種類の共感的応答意図を付与した。
• 既存の研究で知られている人的相互作用ダイナミクスと照らし合わせ、感情-意図の流れのパターンを可視化することで、ラベリング品質を検証した。
• OSEDデータセットおよび訓練済みのEmoBERT+モデルを公開し、共感的対話システム分野の研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 半教師付きでBERTベースのアプローチは、高価な人的ラベル付けに依存せずに、スケール的に高品質な細分化された感情と意図のラベリングを達成できるか？
• RQ2 OSEDデータセット内の感情-意図のパターンは、特に共感的応答戦略において、現実世界の人間の社会的相互作用ダイナミクスを反映しているか？
• RQ3 EmoBERT+分類器の性能は、FastTextのような従来のモデルと比較して、細分化された感情と共感的意図の分類においてどのように異なるか？
• RQ4 OSEDデータセットは、社会的雑談に適したより制御可能で解釈可能な神経系チャットボットの開発をどの程度支援できるか？
• RQ5 クラウドソーシングによるラベリングから、単なる模倣や中立的反応を超えた新たな共感的応答意図は何か？

主な発見

• EmoBERT+分類器は、32種類の感情カテゴリと9種類の共感的応答意図において、細分化された感情分類で65%の正確性を達成し、高いラベル複雑性にもかかわらず優れた性能を示した。
• OSEDにおける感情-意図の流れのパターンの可視化から、感情的な発話の後に質問が最も頻繁に続くことが判明し、既存の研究で示された人間の相互作用の傾向と一致した。
• 感情的な発話の後に、類似した感情を持つ応答が頻繁に続く（例：喜びの発話に続く「興奮」や「満足」）ことが確認され、感情の伝播（emotional contagion）の兆候が示された。これは、EmpatheticDialoguesのようなキュレート済みデータセットで見られる中立的応答とは対照的である。
• OSEDデータセットには、豊富で多様な感情と意図のラベルが付与された100万件の対話が含まれており、細分化ラベルが施された同種のデータセットとしては、現時点で最大である。
• 半教師付きパイプラインにより人的ラベル付けコストを顕著に削減したが、人的相互作用行動とのパターンの一貫性から、ラベル品質が維持されたことが検証された。
• Greeting（挨拶）、Commanding（命令）、Accusing（非難）といった、単なる模倣や中立的反応を超えた新たな応答意図が同定され、現実世界のリスナー反応の複雑さが浮き彫りになった。