[論文レビュー] CMSAOne@Dravidian-CodeMix-FIRE2020: A Meta Embedding and Transformer model for Code-Mixed Sentiment Analysis on Social Media Text

Suman Dowlagar, Radhika Mamidi|arXiv (Cornell University)|Jan 22, 2021

Natural Language Processing Techniques参考文献 28被引用数 11

ひとこと要約

この論文では、fastText、ELMo、TF-IDF、およびGRUを組み合わせたメタ埋め込みアプローチを提案し、ドゥラヴィダ語混在のソーシャルメディアテキストにおけるセンチメント分析に適用している。モデルはタミル語データセットでF1スコア0.58、マラヤーラム語データセットでF1スコア0.66を達成し、複数の埋め込みソースからの文脈を豊かにした表現によって性能が向上していることが示された。

ABSTRACT

Code-mixing(CM) is a frequently observed phenomenon that uses multiple languages in an utterance or sentence. CM is mostly practiced on various social media platforms and in informal conversations. Sentiment analysis (SA) is a fundamental step in NLP and is well studied in the monolingual text. Code-mixing adds a challenge to sentiment analysis due to its non-standard representations. This paper proposes a meta embedding with a transformer method for sentiment analysis on the Dravidian code-mixed dataset. In our method, we used meta embeddings to capture rich text representations. We used the proposed method for the Task: "Sentiment Analysis for Dravidian Languages in Code-Mixed Text", and it achieved an F1 score of $0.58$ and $0.66$ for the given Dravidian code mixed data sets. The code is provided in the Github https://github.com/suman101112/fire-2020-Dravidian-CodeMix.

研究の動機と目的

• 言語の混合と非標準表記がNLPタスクを複雑にするドゥラヴィダ語混在のソーシャルメディア・テキストにおけるセンチメント分析の課題に対処すること。
• fastText、ELMo、TF-IDFといった複数の埋め込みソースをメタ埋め込みフレームワークに統合することで、センチメント分類のパフォーマンスを向上させること。
• トランスフォーマーの文脈理解力とGRUによる逐次モデリングを活用し、混在テキストの表現学習を強化すること。
• FIRE 2020ドゥラヴィダ語・コードミックス共有タスクを対象とし、タミル語およびマラヤーラム語のYouTubeコメントのセンチメント分類にモデルを評価すること。
• 皮肉や風刺を含む否定的センチメントの検出における限界を特定し、それがモデルパフォーマンスに与える影響を明らかにすること。

提案手法

• コードミックステキストにおける非標準表記とサブワードレベルのトークン化を処理するために、バイトペアエンコーディング（BPE）を用いたSentencePieceトークナイザーが使用された。
• fastText埋め込みは、300次元のベクトル空間でコードミックスコーパス上で学習され、サブワードレベルの形態的パターンを捉えた。
• ELMo埋め込みは、1024次元の表現を持つ事前学習済みTensorFlow Hubモデルから取得され、深層的な文脈依存語彙表現を提供した。
• TF-IDF特徴量は文単位で計算され、語の頻度と逆文書頻度を捉え、メタ埋め込みに寄与した。
• fastText、ELMo、TF-IDFの表現を連結してメタ埋め込みを形成し、1層のトランスフォーマー・エンコーダー（2048次元のフィードフォワードネットワークを備える）に供給した。
• GRU層がエンコーディングされた表現を逐次処理し、最終的な隠れ状態を分類用のフィードフォワードネットワークへの文書レベル表現として使用した。

実験結果

リサーチクエスチョン

• RQ1 fastText、ELMo、TF-IDFを統合したメタ埋め込みアプローチは、ドゥラヴィダ語混在テキストのセンチメント分類においてどれほど効果的か？
• RQ2 GRU統合型のトランスフォーマー・アーキテクチャは、微調整されたBERTのようなベースラインモデルを上回るパフォーマンスを示せるか？
• RQ3 皮肉や風刺の分類における主な課題は何か？ また、それらはモデルのパフォーマンスにどのように影響するか？
• RQ4 なぜモデルは、混在感情（mixed_feelings）とポジティブな感情を区別しにくいのか？ どのようなデータ特性がこれに寄与しているか？
• RQ5 非言語的コメント（例：not_Tamil、not_Malayalam）は、高TF-IDFスコアのおかげで分類精度向上にどれほど寄与するのか？

主な発見

• 提案されたモデルは、タミル語コードミックスデータセットで加重F1スコア0.58、マラヤーラム語データセットで0.66を達成し、微調整されたBERTを含むベースラインモデルを上回った。
• メタ埋め込みにTF-IDF特徴量を組み込むことで、タミル語では0.57から0.58、マラヤーラム語では0.47から0.66にパフォーマンスが向上し、非言語的信号を捉える価値が示された。
• モデルはポジティブおよび非言語的コメントの分類で最も良好に機能し、高頻度のポジティブ語彙と非言語語の高TF-IDFスコアのおかげで識別が容易だった。
• 皮肉や風刺を含む否定的センチメントの分類に苦戦し、ポジティブ表現と語彙的に類似しているため、しばしば誤ってポジティブと分類された。
• タミル語とマラヤーラム語データセット間のパフォーマンス格差は、データのアンバランスとコーパス特性がモデルの一般化に与える影響が大きいことを示唆している。
• ELMoとTF-IDFのメタ埋め込みフレームワークへの統合により、低リソースのコードミックス言語ペairの表現の豊かさが向上した。