[論文レビュー] pysentimiento: A Python Toolkit for Opinion Mining and Social NLP tasks

Juan Manuel Pérez, Mariela Rajngewerc+5 more|arXiv (Cornell University)|Jun 17, 2021

Sentiment Analysis and Opinion Mining被引用数 34

ひとこと要約

tldr: pysentimiento はスペイン語、英語、イタリア語、ポルトガル語に対して感情、感情、ヘイトスピーチ、アイロニー分析の最先端モデルを提供する多言語 Python ツールキットで、ベンチマーク結果と公平性評価を含む。

ABSTRACT

In recent years, the extraction of opinions and information from user-generated text has attracted a lot of interest, largely due to the unprecedented volume of content in Social Media. However, social researchers face some issues in adopting cutting-edge tools for these tasks, as they are usually behind commercial APIs, unavailable for other languages than English, or very complex to use for non-experts. To address these issues, we present pysentimiento, a comprehensive multilingual Python toolkit designed for opinion mining and other Social NLP tasks. This open-source library brings state-of-the-art models for Spanish, English, Italian, and Portuguese in an easy-to-use Python library, allowing researchers to leverage these techniques. We present a comprehensive assessment of performance for several pre-trained language models across a variety of tasks, languages, and datasets, including an evaluation of fairness in the results.

研究の動機と目的

• オープンソースで多言語対応の意見マイニングおよび Social NLP タスク用ツールキットを Python でスペイン語、英語、ポルトガル語、イタリア語向けに提供する。
• 複数タスクと複数言語にわたる最先端モデルのベンチマーク性能。
• 英語における感情分析の公平性評価とバイアス診断のガイドラインを提供。
• ライブラリに統合された HuggingFace ハブ経由で最も性能の高いモデルを公開する。
• pysentimiento 内で言語とタスクを拡張するための基盤を整える。

提案手法

• 各言語/タスクごとに代表データセットで事前学習済み言語モデルを微調整する。
• Twitter 特有の正規化ルールでノイズの多いソーシャルメディアテキストを前処理する。
• 異なるシードでの十回の実行に対して Macro F1 を用いてモデルを評価する。
• 検証性能に基づいて各言語/タスクの最良モデルを選択する。
• ECC コーパスと統計的平等性指標を用いて英語の感情分析の公平性を評価する。
• コードとモデルの公開実装およびリポジトリリンクを提供する。

実験結果

リサーチクエスチョン

• RQ1 スペイン語、英語、イタリア語、ポルトガル語において、感情、感情、ヘイトスピーチ、アイロニー検知を最もサポートする事前学習済み言語モデルはどれか。
• RQ2 専門的なソーシャルメディアモデルは多言語の意見マイニングタスクにおいて一般ドメインモデルと比較してどうか。
• RQ3 デモグラフィックにバランスの取れたコーパスを用いた英語の感情分析モデルの公平性/バイアスのプロファイルはどうか。
• RQ4 pysentimiento は Social NLP タスクの再現可能なベンチマークと公正な評価をどのように促進できるか。

主な発見

言語	モデル	感情分析	感情	憎悪表現	皮肉
Spanish	RoBERTuito	69.6±0.5	43.0±3.3	57.5±0.2	73.9±1.4
Spanish	BERTtweet	72.0±0.4	43.1±1.8	57.7±0.7	80.8±0.7
Spanish	RoBERTa es	67.3±0.3	53.1±2.2	73.1±2.8	71.9±0.9
Spanish	BERTin	69.6±0.4	42.7±0.6	56.0±0.8	68.1±2.2
Spanish	ELECTRicidad	65.3±0.5	46.3±2.3	71.8±1.0	67.1±2.1
Spanish	BERTo	65.3±0.5	50.2±2.9	68.7±1.5	69.3±1.4
English	RoBERTa	70.4±0.3	45.0±0.9	55.1±0.4	70.4±2.9
English	BERT	69.6±0.4	42.7±0.6	56.0±0.8	68.1±2.2
English	RoBERTuito	69.6±0.5	43.0±3.3	57.5±0.2	73.9±1.4
English	BERTweet	72.0±0.4	43.1±1.8	57.7±0.7	80.8±0.7
Italian	AlBERTo	57.8±0.7	72.0±1.3	88.1±0.4	53.7±0.6
Italian	BERT it	61.4±0.9	73.6±4.0	92.4±0.4	62.0±4.4
Italian	ELECTRA it	62.3±0.7	64.7±7.7	87.8±3.0	50.0±6.5
Italian	UmBERTo	62.6±1.1	69.7±4.6	87.3±0.4	60.0±2.2
Italian	RoBERTuito	55.2±2.8	64.1±3.0	92.6±0.3	55.6±3.6
Portuguese	BERT pt	70.0±0.3	89.9±0.2	64.1±1.1	—
Portuguese	BERTweet BR	75.3±0.5	91.3±0.4	55.6±5.5	—
Portuguese	RoBERTuito	71.7±0.4	87.6±0.7	70.0±2.4	—
Portuguese	BERTabaporu	73.8±0.4	91.6±0.2	70.3±3.3	—

• 専門的なソーシャルメディアモデル（例: BERTweet, RoBERTuito, BERTabaporu）は、ほとんどの言語とタスクにおいて一般ドメインモデルを上回る傾向がある。
• RoBERTuito とスペイン語チューニングモデルは多くのタスクで堅牢な性能を発揮することが多い。イタリア語の最良モデルは BERTit、ポルトガル語では BERTweet BR と BERTabaporu が高い成果を示す。
• 表3は言語とタスクにわたる Macro F1 スコアを示し、RoBERTuito と BERTweet のバリアントがしばしばトップ性能を達成する。ポルトガル語の結果にはモデル BERT pt、BERTweet BR、RoBERTuito、BERTabaporu が含まれる。
• ECC コーパスを用いた英語の感情検知に関する公平性分析は、評価されたモデル-タスクの組み合わせで統計的平等性の下で有害影響の証拠がないことを示している。
• 著者は研究者が再利用しやすいよう、モデルとコードを GitHub および HuggingFace ハブで公開している。