[論文レビュー] A Deeper Look into Sarcastic Tweets Using Deep Convolutional Neural Networks

Soujanya Poria, Erik Cambria+2 more|arXiv (Cornell University)|Oct 27, 2016

Sentiment Analysis and Opinion Mining参考文献 31被引用数 204

ひとこと要約

本論文は、感情、情動、性格の特徴を自動的に抽出する深層CNNベースの枠組みを提案し、それらを事前学習済みモデルから取得してベースのCNN特徴と組み合わせることで、Twitterデータにおける皮肉検出の性能と一般化を向上させる。

ABSTRACT

Sarcasm detection is a key task for many natural language processing tasks. In sentiment analysis, for example, sarcasm can flip the polarity of an "apparently positive" sentence and, hence, negatively affect polarity detection performance. To date, most approaches to sarcasm detection have treated the task primarily as a text categorization problem. Sarcasm, however, can be expressed in very subtle ways and requires a deeper understanding of natural language that standard text categorization techniques cannot grasp. In this work, we develop models based on a pre-trained convolutional neural network for extracting sentiment, emotion and personality features for sarcasm detection. Such features, along with the network's baseline features, allow the proposed models to outperform the state of the art on benchmark datasets. We also address the often ignored generalizability issue of classifying data that have not been seen by the models at learning phase.

研究の動機と目的

• 感情分析の極性を反転させ得るタスクとして皮肉検出を動機づけ、伝統的なテキスト分類だけでは十分には捉えきれないことを示す。
• データから皮肉特徴を自動学習する深層CNNフレームワークを提案する。
• 事前学習済みの感情・情動・性格モデルが皮肉検出を改善するかを検討する。
• 時間的・トピックが変化したTwitterデータ間でのモデルの一般化能力を評価する。
• 特徴量の統合とCNN-SVM分類戦略の有効性を評価する。

提案手法

• 皮肉検出の追加入力として感情・情動・性格特徴を抽出するために事前学習済みCNNを用いる。
• 文をword2vecで初期化された語の埋め込みで表現し、訓練中は非静的なファインチューニングを許可する。
• それぞれのベンチマークで感情・情動・性格CNNモデルを個別に訓練し、固定長の特徴ベクトルを生成する。
• ベースラインCNNの特徴と事前学習特徴（感情・情動・性格）を特徴結合とSVM分類（CNN-SVM）を介して組み合わせる。
• エンドツーエンドのCNN分類とCNNの特徴抽出をSVMに入力して最終決定を得る2つの訓練パラダイムを検討する。

実験結果

リサーチクエスチョン

• RQ1 CNNベースのフレームワークはデータから皮肉に関連する特徴を自動的に学習できるか。
• RQ2 事前学習済みの感情・情動・性格モデルは、ベースラインCNN特徴と統合したとき皮肉検出に意味のある改善を提供するか。
• RQ3 これらの特徴セットは、バランスの取れたデータセットと不均衡なデータセット、およびデータセット間の一般化においてどのように機能するか。
• RQ4 ベースライン特徴と事前学習特徴を組み合わせることが検出性能と一般化に与える影響は何か。

主な発見

• ベースライン特徴のみで、データセット間で皮肉検出の性能が高い。
• 事前学習済み感情特徴が、事前学習モデルの中で最も高い個別性能を示す。
• ベースライン特徴と感情・情動・性格特徴を統合するとF1スコアが大幅に向上する（特に Dataset 1 および Dataset 3 で顕著）。
• CNN-SVMは、特徴構成を問わず、一般に単純なCNNより優れている。
• この手法はベンチマークデータセットで最先端または競争力のある結果を達成し、すべての特徴を組み合わせた場合に顕著な改善が見られる。
• 一般化検証ではデータセット横断の性能は難しく、事前学習特徴は助けになるが、堅牢な訓練データの代替にはならない。