[論文レビュー] Token Sequence Labeling vs. Clause Classification for English Emotion Stimulus Detection

Laura Oberländer, Roman Klinger|arXiv (Cornell University)|Oct 15, 2020

Sentiment Analysis and Opinion Mining参考文献 44被引用数 16

ひとこと要約

この論文は、英語の感情刺激抽出におけるトークン系列ラベリングと節分類の比較を行い、4つの英語データセットで両アプローチを評価できる統合フレームワークを提案する。結果は、4つのデータセットのうち3つでトークン系列ラベリングが節分類を上回ることを示し、誤差解析により英語では節が感情刺激の最適な単位でないことが確認された。これは、節の粒度が粗く、自然な刺激境界と一致しないことが理由である。

ABSTRACT

Emotion stimulus detection is the task of finding the cause of an emotion in a textual description, similar to target or aspect detection for sentiment analysis. Previous work approached this in three ways, namely (1) as text classification into an inventory of predefined possible stimuli ("Is the stimulus category A or B?"), (2) as sequence labeling of tokens ("Which tokens describe the stimulus?"), and (3) as clause classification ("Does this clause contain the emotion stimulus?"). So far, setting (3) has been evaluated broadly on Mandarin and (2) on English, but no comparison has been performed. Therefore, we aim to answer whether clause classification or sequence labeling is better suited for emotion stimulus detection in English. To accomplish that, we propose an integrated framework which enables us to evaluate the two different approaches comparably, implement models inspired by state-of-the-art approaches in Mandarin, and test them on four English data sets from different domains. Our results show that sequence labeling is superior on three out of four datasets, in both clause-based and sequence-based evaluation. The only case in which clause classification performs better is one data set with a high density of clause annotations. Our error analysis further confirms quantitatively and qualitatively that clauses are not the appropriate stimulus unit in English.

研究の動機と目的

• 英語における感情刺激抽出において、節分類とトークン系列ラベリングのどちらがより効果的であるかを評価すること。
• 節ベースとトークンベースのアプローチを直接比較できる統一されたフレームワークの開発。
• 中国語で標準的である節ベースの定式化が、英語に一般化できるかを調査すること。
• 誤差パターンを分析し、英語における感情刺激の文脈的適切さを検証すること。
• 再現可能性と今後の研究を促進するために、アノテート済みデータとコードを公開すること。

提案手法

• 入力テキストを節レベルとトークンレベルの両方の表現にマッピングできる統合フレームワークを設計し、両者の共同評価を可能にする。
• 英語テキストにおける節境界を特定するためのニューラル節検出器を訓練し、その後続タスクとしての節分類を可能にする。
• IOBタギングを用いて、感情刺激を構成するトークンを特定するための系列ラベリングモデルを訓練する。
• 最先端の中国語アプローチ（例：LSTMベースの階層エンコーダー）を模倣したモデルを英語データセットに適応・評価する。
• 両アプローチが同じデータ分割と指標で評価されるようにフレームワークを設計し、公平な比較を実現する。
• 4つの多様な英語データセット（EmotionStimulus、ElectoralTweets、および他の2つの異なるドメインからのデータセット）を用いた統合評価プロトコルを採用する。

実験結果

リサーチクエスチョン

• RQ1 英語における感情刺激抽出において、トークン系列ラベリングは節分類を上回る効果を持つのか？
• RQ2 中国語用に開発された最先端の節分類モデルが、英語データセットにもうまく一般化できるのか？
• RQ3 節は英語における感情刺激を表現する文脈的に適切な単位であるのか？
• RQ4 ドメインやテキストタイプ（例：フォーマル対ソーシャルメディア）は、各アプローチのパフォーマンスにどのように影響するか？
• RQ5 2つの定式化のパフォーマンス差を説明する主な誤差パターンは何か？

主な発見

• トークン系列ラベリングは、4つの英語データセットのうち3つで節分類を上回り、F1スコアにおいて統計的に有意な改善が得られた。
• 唯一、節分類が優れるデータセットはElectoralTweetsであり、これは節のアノテーション密度が非常に高いことから、アノテーション密度がパフォーマンスに影響を与える可能性があることを示唆している。
• 誤差解析により、英語では節が感情刺激の真の境界を捉えるには粒度が粗すぎるため、不要な内容や不完全な内容を含むことが確認された。
• 本研究では、英語の刺激が頻繁に非節的であり、節の境界をまたいでいることが判明し、節が自然な刺激単位であるという仮定に反する。
• 結果として、特に非公式で構文的に複雑な文脈では、トークンレベルの系列ラベリングが感情刺激抽出の推奨される定式化であると支持される。
• 著者らは、節およびトークンレベルのラベリング用にアノテート済みデータとコードを公開し、今後の研究と再現可能性を促進している。