[論文レビュー] Effect of Text Processing Steps on Twitter Sentiment Classification using Word Embedding

Manar D. Samad, Nalin D. Khounviengxay+1 more|arXiv (Cornell University)|Jul 25, 2020

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本稿では、ドメイン固有のTwitterデータ上で訓練されたスキップグラム単語埋め込みを用いて、テキスト処理手順がTwitterのセンチメント分類に与える影響を調査する。単語の重要度とツイートベクトルの集約に関してデータ駆動型のアプローチを提案し、ストップワードの除去と単語ベクトルの平均化が性能を損なうことを示している。一方で、単語ベクトルの和と文脈に応じた単語重要度の組み込みにより、AUCが88.4±0.4まで向上する。

ABSTRACT

Processing of raw text is the crucial first step in text classification and sentiment analysis. However, text processing steps are often performed using off-the-shelf routines and pre-built word dictionaries without optimizing for domain, application, and context. This paper investigates the effect of seven text processing scenarios on a particular text domain (Twitter) and application (sentiment classification). Skip gram-based word embeddings are developed to include Twitter colloquial words, emojis, and hashtag keywords that are often removed for being unavailable in conventional literature corpora. Our experiments reveal negative effects on sentiment classification of two common text processing steps: 1) stop word removal and 2) averaging of word vectors to represent individual tweets. New effective steps for 1) including non-ASCII emoji characters, 2) measuring word importance from word embedding, 3) aggregating word vectors into a tweet embedding, and 4) developing linearly separable feature space have been proposed to optimize the sentiment classification pipeline. The best combination of text processing steps yields the highest average area under the curve (AUC) of 88.4 (+/-0.4) in classifying 14,640 tweets with three sentiment labels. Word selection from context-driven word embedding reveals that only the ten most important words in Tweets cumulatively yield over 98% of the maximum accuracy. Results demonstrate a means for data-driven selection of important words in tweet classification as opposed to using pre-built word dictionaries. The proposed tweet embedding is robust to and alleviates the need for several text processing steps.

研究の動機と目的

• 単語埋め込みを用いたTwitterのセンチメント分類における、一般的なテキスト処理手順の影響を評価すること。
• 口語的表現、略語、絵文字を特徴とするTwitterドメインに特化した最適なテキスト前処理戦略を特定すること。
• 学習済み単語埋め込み表現に基づいて、重要な単語を同定するデータ駆動型手法を開発すること。
• 標準的なテキスト処理手順に依存しない、堅牢なツイート埋め込み技術を提案すること。
• 単語ベクトルの集約と特徴空間の構築を最適化することで、高性能なセンチメント分類を達成すること。

提案手法

• 口語的単語、絵文字、ハッシュタグを含むドメイン固有の意味を捉えるために、大規模なTwitterコーパス上でスキップグラム単語埋め込みを訓練すること。
• 単語埋め込みベクトルの大きさを用いて単語の重要度を測定し、事前定義された辞書に依存せず、データ駆動型のストップワード選択を可能にすること。
• 和、平均、加重平均の演算を用いて、個々の単語ベクトルをツイートレベルの表現に集約すること。
• モデル性能の偏りのない評価を確保するため、10x2のネストドクロスバリデーションを適用すること。
• 分類器の一般化性能を向上させるために、単語埋め込みから線形分離可能な特徴空間を構築すること。
• 感情に関連する信号を保持するために、非アスキー文字の絵文字を埋め込みプロセスに直接組み込むこと。

実験結果

リサーチクエスチョン

• RQ1 ストップワードの除去や単語ベクトルの平均化といった一般的なテキスト処理手順は、Twitterのセンチメント分類性能にどのように影響を与えるか？
• RQ2 センチメント分類のためのツイートレベル表現に、単語ベクトルを集約する最適な方法は何か？
• RQ3 Twitterデータ上で訓練された単語埋め込みを用いて、文脈的に重要な単語を同定でき、固定のストップワードリストへの依存を減らせるか？
• RQ4 絵文字や非アスキー文字の含め方が、センチメント分類の正確性にどのように影響するか？
• RQ5 データ駆動型で埋め込みに基づくアプローチは、Twitterセンチメント分析において、激しいテキスト前処理の必要性をどの程度低減できるか？

主な発見

• ストップワードの除去は、その埋め込みによっても予測に寄与する情報があるため、センチメント分類性能を著しく低下させる。
• ツイート表現のための単語ベクトルの平均化は、和を取ることよりも性能が悪い。和を取ることでAUCが88.4±0.4まで最高に向上する。
• 非アスキー文字の絵文字を単語埋め込みプロセスに含めることで、分類精度が向上する。これは、絵文字が感情に関連する信号を保持しているためである。
• 埋め込みの大きさに基づいて特定されたツイート内で最も重要な10語が、最大分類精度の98%以上を累積的に占める。
• Twitterデータ上で訓練された単語埋め込みは、線形分離可能な特徴空間を生成し、効率的かつ一般化可能なセンチメント分類を可能にする。
• 提案手法は、標準的なテキスト前処理手順への依存を低減しており、一部の単語が未知語語彙に含まれない場合でも、堅牢性を示している。