[論文レビュー] Are the Multilingual Models Better? Improving Czech Sentiment with Transformers

Pavel Přibáň, Josef Steinberger|arXiv (Cornell University)|Aug 24, 2021

Sentiment Analysis and Opinion Mining参考文献 50被引用数 6

ひとこと要約

この論文は、チェコ語のセンチメント極性検出のための単言語および多言語トランスフォーマーモデルを評価し、XLM-R-Largeなどの大規模な多言語モデルが、より小さい単言語モデルを上回り、最先端の結果を達成することを示している。さらに、英語からチェコ語へのゼロショットクロスリンガル転送が、微調整済みの単言語モデルと比較して4.4%以内の性能を達成することを示しており、これはチェコ語のセンチメント分析において初めての研究である。

ABSTRACT

In this paper, we aim at improving Czech sentiment with transformer-based models and their multilingual versions. More concretely, we study the task of polarity detection for the Czech language on three sentiment polarity datasets. We fine-tune and perform experiments with five multilingual and three monolingual models. We compare the monolingual and multilingual models' performance, including comparison with the older approach based on recurrent neural networks. Furthermore, we test the multilingual models and their ability to transfer knowledge from English to Czech (and vice versa) with zero-shot cross-lingual classification. Our experiments show that the huge multilingual models can overcome the performance of the monolingual models. They are also able to detect polarity in another language without any training data, with performance not worse than 4.4 % compared to state-of-the-art monolingual trained models. Moreover, we achieved new state-of-the-art results on all three datasets.

研究の動機と目的

• チェコ語のセンチメント極性検出における単言語および多言語トランスフォーマーモデルのパフォーマンスを評価すること。
• 多言語モデルが、特に英語からチェコ語、およびその逆に言語間で知識を転送できるかどうかを調査すること。
• 今後のチェコ語のセンチメント分析タスクの評価のための標準化されたデータ分割を確立すること。
• 再現可能性および今後の研究を支援するため、微調整済みモデルとコードを公開すること。
• トランスフォーマーベースのモデルを用いて、3つのチェコ語センチメントデータセットで新たな最先端の結果を達成すること。

提案手法

• 3つのチェコ語センチメントデータセット上で、5つの多言語および3つの単言語の事前学習済みトランスフォーマーモデルを微調整した。
• 各モデルごとに最適化されたハイパーパrameterを用いた標準的な微調整手順を採用し、最良のパフォーマンスを得るための、2e-6の学習率を含めた。
• 英語データでモデルを微調整し、チェコ語データで評価するなど、微調整後のさらなる訓練なしにゼロショットクロスリンガル分類を実施した。
• テストセットにおける精度とF1スコアを用いてパフォーマンスを評価し、安定性の評価のため信頼区間を報告した。
• 開発セットのパフォーマンスに基づいてモデルを選定し、先行の最先端手法と結果を比較した。
• すべての微調整済みモデル、コード、および標準化されたデータ分割を公開し、再現可能性および今後のベンチマークの実施を可能にした。

実験結果

リサーチクエスチョン

• RQ1 多言語トランスフォーマーモデルは、チェコ語のセンチメント極性検出において、単言語モデルを上回ることができるか？
• RQ2 多言語モデルは、英語とチェコ語の間でどの程度ゼロショットクロスリンガルセンチメント分類を実行できるか？
• RQ3 モデルのサイズやアーキテクチャは、リソースが限られたチェコ語のセンチメントデータセットにおけるパフォーマンスにどのように影響するか？
• RQ4 標準化されたデータ分割は、今後のチェコ語のセンチメント分析研究における比較可能性と再現可能性を向上させることができるか？
• RQ5 チェコ語のテキストにおけるトランスフォーマーモデルの最適なハイパーパrameterと微調整戦略は何か？

主な発見

• XLM-R-Largeモデルは、3つのチェコ語センチメントデータセットすべてで最先端のパフォーマンスを達成し、単言語モデルおよびより小さい多言語モデルを上回った。
• XLM-R-Largeモデルは、チェコ語から英語へのゼロショットクロスリンガル分類で93.98%の精度を達成し、英語IMDBの現在のSOTAと比較してわずか3.4%低い結果であった。
• XLM-R-Largeを用いた、英語からチェコ語へのゼロショット転送では、チェコ語のCSFDデータセットで94.22%の精度を達成し、チェコ語で微調整された最良の単言語モデルと比較して4.4%以内の性能であった。
• パrameter数が少ないにもかかわらず、Czert-Bという単言語モデルは、競争力のあるパフォーマンスを示し、リソースが限られた環境に適している。
• 低い学習率（2e-6）は、すべてのモデルで一貫して良好な収束と高いパフォーマンスをもたらした。
• 小さなデータセット（例：FBで約6,000の例）での微調整では、分散が大きく、過学習のリスクが高くなる傾向が見られ、リソースが限られた状況での不安定さが示された。