[論文レビュー] Multi-task dialog act and sentiment recognition on Mastodon

Christophe Cerisara, Somayeh Jafaritazehjani+2 more|arXiv (Cornell University)|Jul 13, 2018

Innovative Human-Technology Interaction参考文献 11被引用数 42

ひとこと要約

この論文は、対話行為と感情の注釈が付与されたオープンソースの Mastodon コーパスを紹介し、タスク間の転移学習を可能にするマルチタスク階層RNNを訓練します。

ABSTRACT

Because of license restrictions, it often becomes impossible to strictly reproduce most research results on Twitter data already a few months after the creation of the corpus. This situation worsened gradually as time passes and tweets become inaccessible. This is a critical issue for reproducible and accountable research on social media. We partly solve this challenge by annotating a new Twitter-like corpus from an alternative large social medium with licenses that are compatible with reproducible experiments: Mastodon. We manually annotate both dialogues and sentiments on this corpus, and train a multi-task hierarchical recurrent network on joint sentiment and dialog act recognition. We experimentally demonstrate that transfer learning may be efficiently achieved between both tasks, and further analyze some specific correlations between sentiments and dialogues on social media. Both the annotated corpus and deep network are released with an open-source license.

研究の動機と目的

• ライセンスに友好的なソーシャルメディア（Mastodon）を利用してTwitterの代わりに再現可能なNLP研究を促進する。
• 感情と対話行為ラベルの両方を含む Mastodon の対話コーパスを作成・注釈する。
• 感情と対話行為を共同認識する階層的マルチタスクニューラルモデルを提案する。
• 感情タスクと対話行為タスク間の転移学習を調査し、両者の相関を分析する。

提案手法

• 二レベルの階層的リカレントネットワーク：ビリニアLSTMの投稿エンコーダの後にRNNの対話エンコーダを配置；出力は感情と対話行為の二つのMLP分類器へ供給される。
• 二つのクロスエントロピー損失（各タスクごと）と等重み付けで訓練；訓練中に一方のタスクのラベルをマスクする転移学習変種を実施。
• トレーニング用239対話（1075投稿）、テスト用266対話（1142投稿）を注釈；語彙サイズ5330。
• 注釈者は対話行為で88.6%、感情で90.2%のインタアノテーター一致を達成；コーエンのカッパは対話行為85.1%、感情90.2%。
• 対話行為についてISO 24617-2標準を引用・適用；木構造の Mastodon 会話を独立した対話として線形化。

実験結果

リサーチクエスチョン

• RQ1 Mastodonデータから対話行為と感情を結合モデルで学習できるか？
• RQ2 注釈がタスク間で不均等な場合、マルチタスク訓練は有効か（感情と対話行為間の転移学習）？
• RQ3 ソーシャルメディア対話における感情と対話行為の関係性はどのようなものか？
• RQ4 タスクを共有した表現が単一タスクのベースラインより性能を改善するか？

主な発見

• 転移学習は一方のタスクの注釈がもう一方より多い場合に効率的であり、より豊富な対話行為データは感情性能を向上させ、逆もまた然り。
• データが均衡している場合、マルチタスク訓練は単一タスク訓練と同等の性能を示し、両タスクが同程度にラベル付けされている場合の追加価値は限定的。
• 注釈者の一致は両タスクで高い（対話行為88.6%、感情90.2%）; カッパ値も高い（85.1%、90.2%）。
• コーパスは、対話内で感情が対話行為よりもゆっくりと変化することを示し、一部の同意/不同意と感情の変化には相関が存在。
• 豊富なタスクから乏しいタスクへの転移は両方向で性能を改善し、有意なタスク間情報共有を示す。