[論文レビュー] Zero-shot hashtag segmentation for multilingual sentiment analysis

Ruan Chaves Rodrigues, Marcelo Akira Inuzuka+4 more|arXiv (Cornell University)|Dec 6, 2021

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本稿では、微調整を必要としないゼロショットハッシュタグ分割フレームワークを提案する。事前学習済みTransformerモデル（GPT-2およびBERT）を用い、ビームサーチと再ランク付けを組み合わせ、微調整なしで最先端の性能を達成した。この手法により、低リソース言語におけるハッシュタグの正確な分割と翻訳が可能となり、多言語感情分析の性能が顕著に向上した。翻訳ベースライン手法を上回る結果が、複数の言語で得られた。

ABSTRACT

Hashtag segmentation, also known as hashtag decomposition, is a common step in preprocessing pipelines for social media datasets. It usually precedes tasks such as sentiment analysis and hate speech detection. For sentiment analysis in medium to low-resourced languages, previous research has demonstrated that a multilingual approach that resorts to machine translation can be competitive or superior to previous approaches to the task. We develop a zero-shot hashtag segmentation framework and demonstrate how it can be used to improve the accuracy of multilingual sentiment analysis pipelines. Our zero-shot framework establishes a new state-of-the-art for hashtag segmentation datasets, surpassing even previous approaches that relied on feature engineering and language models trained on in-domain data.

研究の動機と目的

• タスク固有の微調整やドメイン特化の事前学習を必要としないゼロショットハッシュタグ分割フレームワークの開発。
• 一般用途の事前学習済み言語モデル（例：GPT-2、BERT）がゼロショットハッシュタグ分割において有効であるかの評価。
• ハッシュタグ分割を多言語感情分析パイプラインに統合し、低リソース言語における性能向上を図ること。
• ゼロショット分割が、特徴量設計やドメイン特化の微調整に依存する従来手法を上回るか、同等の性能を発揮することの実証。
• 再現性および本番環境での利用を目的として、オープンソース実装の公開。

提案手法

• ビームサーチを用いて候補分割を生成する段階で、GPT-2をセグメンテーションモジュール（Segmenter）として、BERTを再ランク付けモジュール（Re-ranker）として組み合わせる。
• 開発セット上で最適化されたハイパーパramータ α=0.2 および β=0.1 を用いた学習済みスコア関数を用いて再ランク付けを実施する。
• ハッシュタグをセグメンテーションモジュールで語の単位に分割し、その後、文の自然さと整合性に基づいて候補を再ランク付けする。
• 表5に示す言語固有のモデルを用いて多言語データセットを処理し、多言語間の互換性を確保する。
• 翻訳戦略として3通りの方法（翻訳：T、コードミックスド翻訳：CMT、コードミックスド翻訳とセグメンテーション統合：CMTS）を用い、多言語感情分析パイプラインに統合する。
• 自動翻訳には MarianMT を使用し、UMSABベンチマークにおける性能評価には F スコアを用いる。

実験結果

リサーチクエスチョン

• RQ1 一般用途の事前学習済み言語モデルが、微調整なしに競争力あるゼロショットハッシュタグ分割性能を達成できるか？
• RQ2 翻訳パイプラインに統合されたゼロショットハッシュタグ分割が、多言語感情分析にどのように寄与するか？
• RQ3 セグメンテーションと翻訳を統合したCMTS手法が、直接翻訳（T）を上回る性能を、多様な言語で一貫して示せるか？
• RQ4 モデルアーキテクチャおよび事前学習データが、低リソース言語におけるゼロショットセグメンテーション性能に与える影響は何か？
• RQ5 統一されたゼロショットフレームワークが、感情分析におけるハッシュタグセグメンテーションにおいて、言語固有のモデルの必要性を排除できるか？

主な発見

• 提案されたゼロショットフレームワークは、TEST-BOUNハッシュタグセグメンテーションデータセットで最先端の結果を達成し、ドメイン特化の微調整や特徴量設計に依存する手法を上回った。
• アラビア語では、CMTS手法が F スコア 76.4% を達成し、翻訳ベースライン（73.1%）を 3.3% 上回った。
• ドイツ語およびイタリア語では、CMTS手法がベースラインを顕著に上回り、近縁言語において有効であることが示された。
• スペイン語では、CMTS手法がベースラインより 1.0% 低いスコアにとどまり、一部の言語対で利点が限定的であった。これは、モデル固有の事前学習特性による可能性が示唆された。
• ヒンディ語データセットは最も困難なままであり、ベースラインに改善が見られず、低リソース言語間の転送の限界が浮き彫りになった。
• このフレームワークにより、言語固有のモデル学習を要せず、多言語感情分析パイプラインを実現でき、計算コストの削減が達成された。