[論文レビュー] NILC-USP at SemEval-2017 Task 4: A Multi-view Ensemble for Twitter Sentiment Analysis

Edilson A. Corrêa, Vanessa Queiroz Marinho+1 more|arXiv (Cornell University)|Apr 7, 2017

Topic Modeling参考文献 14被引用数 11

ひとこと要約

本論文は、tf-idfを用いたbag-of-words、平均化された単語埋め込み、重み付けされた単語埋め込みの3つの異なるテキスト表現を用い、それぞれ線形分類器（SVMまたはロジスティック回帰）と組み合わせた、複数視点のアンサンブルシステムを提示している。アンサンブルは、SemEval-2017 Task 4 subtask A（英語）でF1スコア0.595を達成し、38システム中18位となった。

ABSTRACT

This paper describes our multi-view ensemble approach to SemEval-2017 Task 4 on Sentiment Analysis in Twitter, specifically, the Message Polarity Classification subtask for English (subtask A). Our system is a voting ensemble, where each base classifier is trained in a different feature space. The first space is a bag-of-words model and has a Linear SVM as base classifier. The second and third spaces are two different strategies of combining word embeddings to represent sentences and use a Linear SVM and a Logistic Regressor as base classifiers. The proposed system was ranked 18th out of 38 systems considering F1 score and 20th considering recall.

研究の動機と目的

• 短く、非公式なTwitterテキストにおけるセンチメント分類を、多様なテキスト表現技術を用いて改善すること。
• 異なる特徴空間を統合するが特徴の融合を行わない、複数視点アンサンブルアプローチの有効性を評価すること。
• 最小限の前処理で、ノイズの多いソーシャルメディアテキストに対して、シンプルで解釈可能なモデル（SVM、ロジスティック回帰）の性能を評価すること。
• 既存の埋め込みベースのアプローチにおける、皮肉、語順、非公式な言語の処理における限界を特定すること。

提案手法

• 3つのベース分類器のソフト投票アンサンブルを採用し、それぞれが異なるテキスト表現空間で学習されている。
• 1番目の分類器は、tf-idf重み付けを施したbag-of-wordsモデルと、線形SVMを用いて分類している。
• 2番目の分類器は、事前学習済みのWord2Vec埋め込み（300次元）の平均値としてツイートを表現し、線形SVMを適用している。
• 3番目の分類器は、tf-idfに基づく重み付け平均埋め込みを用い、ロジスティック回帰分類器を適用している。
• 最終的な予測は、3つの分類器の予測確率を合算し、合計値が最大となるクラスを選択することで決定される。
• 前処理には、URL、メンション、数字、絵文字の処理、小文字変換、ストップワード、標 punctuaction、ハッシュタグ、ユーザーネームの削除が含まれる。

実験結果

リサーチクエスチョン

• RQ1 シンプルで複雑でないテキスト表現を用いた複数視点アンサンブルは、Twitterセンチメント分類において競争力のある性能を達成できるか？
• RQ2 bag-of-words、生の単語埋め込み、tf-idf重み付け埋め込みといった異なるテキスト表現戦略が、センチメント分類性能に与える影響は何か？
• RQ3 異なる特徴空間に跨る複数の分類器を組み合わせることで、非公式なソーシャルメディアテキストにおいて、単一モデルアプローチに比べて一般化性能が向上するか？
• RQ4 語順や非公式な言語（例：省略語、置換語）が、埋め込みベースのモデルの性能にどの程度制限を及えるか？
• RQ5 標準的な分類器を用いた最小限の前処理パイプラインは、リソースが限られたノイズの多いTwitterデータにおいて、より複雑なモデルを上回る性能を発揮できるか？

主な発見

• 本システムは、SemEval-2017のTwitter2017-testデータセットでF1スコア0.595を達成し、参加38システム中18位となった。
• リcallスコアは0.612であり、コンテスト内で20位に位置し、ポジティブセンチメントのインスタンスを識別する性能が比較的高いことが示された。
• SMS2013およびTw2014-sarcasmデータセットでは性能が低く、語彙の違いや、語順をモデル化しないと皮肉を捉えられないことによるものと推察された。
• LiveJournal2014では性能が安定しており、データがTwitterとスタイル・構造が類似している場合、ドメインシフトに対して頑健であることが示された。
• 語順や否定がセンチメントを著しく変える文、例えば「It isn’t horrible, it’s perfect」のような皮肉表現では、モデルの性能が著しく低下した。
• 非公式な言語に適応していない事前学習済みのWord2Vec埋め込みを、微調整や正規化なしに使用したことで、スラングや省略語が多用されるデータセットでは性能が制限された。