[論文レビュー] Atalaya at TASS 2019: Data Augmentation and Robust Embeddings for Sentiment Analysis

Franco M. Luque|arXiv (Cornell University)|Sep 24, 2019

Sentiment Analysis and Opinion Mining被引用数 28

ひとこと要約

本論文は、9000万件のツイートで学習された頑健なサブワード認識埋め込み、二方向翻訳を用いたデータ拡張、および新規のインスタンスクロスオーバー技術を組み合わせ、アンサンブル線形モデルを用いた、スペイン語ツイートの感情分析のための単純ながら効果的なアプローチを提示する。最小限のアーキテクチャ的複雑性にもかかわらず、本システムはTASS 2019共有タスクで上位水準のパフォーマンスを達成し、小規模でノイズの多いデータセットにおいて、頑健な表現とデータ拡張の強力な影響を示している。

ABSTRACT

In this article we describe our participation in TASS 2019, a shared task aimed at the detection of sentiment polarity of Spanish tweets. We combined different representations such as bag-of-words, bag-of-characters, and tweet embeddings. In particular, we trained robust subword-aware word embeddings and computed tweet representations using a weighted-averaging strategy. We also used two data augmentation techniques to deal with data scarcity: two-way translation augmentation, and instance crossover augmentation, a novel technique that generates new instances by combining halves of tweets. In experiments, we trained linear classifiers and ensemble models, obtaining highly competitive results despite the simplicity of our approaches.

研究の動機と目的

• スペイン語ツイートの低リソースな感情分析におけるデータ不足に対処すること。
• 9000万件のツイートで学習されたサブワード認識単語埋め込みを用いて、モデルの頑健性を向上させること。
• インスタンスクロスオーバーと翻訳ベースの拡張を含む、新規のデータ拡張技術の有効性を評価すること。
• 複雑なディープラーニングアーキテクチャを用いずに、競争力のあるパフォーランスを達成すること。
• アブレーションスタディを通じて、各コンポonentの貢献度を分析すること。

提案手法

• 重み付き平均化を用いて、バッグオブワーズ（BoW）、バッグオブキャラクターズ（BoC）、およびツイート埋め込みを統合し、ツイート表現を構築する。
• 多様なスペイン語圏諸国からなる9000万件のツイートコーパスを用いて、fastTextのサブワード認識埋め込みを学習し、カバレッジと頑健性を向上させる。
• 二つのデータ拡張戦略を適用した：二方向翻訳（英語、フランス語、ポルトガル語、アラビア語への行き来）とインスタンスクロスオーバー、後者は異なるツイートの半分を組み合わせて新しい訓練インスタンスを生成する。
• ノイズ低減、否定処理、正規化を含む前処理を実施し、意味的表現を向上させる。
• ロジスティック回帰とバギングアンサンブルを分類器として使用し、開発セットでのハイパーパramータチューニングを実施した。
• アブレーションスタディを実施し、表現、拡張、モデルタイプごとの貢献度を分離した。

実験結果

リサーチクエスチョン

• RQ1 新規に導入されたリソース不要のデータ拡張技術としてのインスタンスクロスオーバー拡張は、低リソース環境における感情分類の向上にどの程度効果的か？
• RQ2 標準的な単語埋め込みと比較して、ノイズが多く短いテキスト（例：ツイート）に対して、頑健なサブワード認識埋め込みはパフォーマンスをどの程度向上させるか？
• RQ3 適切な特徴工学とデータ拡張を施した単純な線形モデルは、低リソースな感情分析において、複雑なニューラルネットワークを上回る性能を発揮できるか？
• RQ4 異なるテキスト表現（BoW、BoC、ツイート埋め込み）が、全体のシステムパフォーマンスに与える相対的貢献度は何か？
• RQ5 データ拡張技術は、多クラス感情分析におけるマイノリティクラス（NEU、NONE）の分類にどのように影響を与えるか？

主な発見

• 最良のシステムは、ESデータセットのテストセットにおいて、マクロF1スコア48.42を達成し、サブタスク1で2位となった。
• インスタンスクロスオーバー拡張技術は、全体の正確性に影響を与えないままF1スコアを向上させた。これは、マイノリティクラス（NEUおよびNONE）に対する特定の利点を示している。
• ツイート埋め込みはBoWやBoC表現よりも顕著に寄与しており、フルシステムはES開発セットで64.37％の正確性と52.77％のマクロF1スコアを達成した。
• アブレーションスタディの結果、埋め込みを削除するとマクロF1が41.83％に低下し、それがパフォーマンスに不可欠な役割を果たしていることが明らかになった。
• 限られた実験にもかかわらず、多言語翻訳結果は強く、サブタスク2ではPE、UY、MXで1位を獲得し、PEテストセットで54.64％の正確性を達成した。
• 翻訳ベースの拡張とインスタンスクロスオーバーの組み合わせが最も良い結果をもたらし、フルシステムはすべてのデータセットでベースラインを上回った。