[論文レビュー] kk2018 at SemEval-2020 Task 9: Adversarial Training for Code-Mixing Sentiment Classification

Jiaxiang Liu, Xuyi Chen+6 more|arXiv (Cornell University)|Sep 8, 2020

Natural Language Processing Techniques参考文献 22被引用数 4

ひとこと要約

本論文は、コードミックスセンチメント分類のためのマルチリンガルXLM-Rバックボーンを用いた敵対的訓練を提案し、SemEval-2020 Task 9のヒンディ語-英語データセットで最先端の性能を達成した。ドメイン転送による強力な単言語モデル（ERNIE）からの転送が予想外に強いベースラインを提供することを示し、敵対的訓練が一般化性能とテスト性能を顕著に向上させた。エナメルス手法を用いて1位のF1スコア0.7526を達成した。

ABSTRACT

Code switching is a linguistic phenomenon that may occur within a multilingual setting where speakers share more than one language. With the increasing communication between groups with different languages, this phenomenon is more and more popular. However, there are little research and data in this area, especially in code-mixing sentiment classification. In this work, the domain transfer learning from state-of-the-art uni-language model ERNIE is tested on the code-mixing dataset, and surprisingly, a strong baseline is achieved. Furthermore, the adversarial training with a multi-lingual model is used to achieve 1st place of SemEval-2020 Task 9 Hindi-English sentiment classification competition.

研究の動機と目的

• 単言語事前学習モデル（ERNIE）からのドメイン転送学習が、リソースが限られたコードミックスセンチメント分類タスクに効果を発揮するかを調査すること。
• 敵対的訓練を正則化手法として用いることで、小規模なコードミックスデータセットにおけるモデルの一般化性能を向上させることの有効性を評価すること。
• SemEval-2020 Task 9のヒンディ語-英語コードミックスセンチメント分類ベンチマークで最先端の性能を達成すること。
• 敵対的訓練におけるハイパーパramータの影響が、モデルの頑健性と性能に与える影響を分析すること。

提案手法

• ドメイン転送学習を用いて、ヒンディ語-英語コードミックスデータセットに直接、単言語モデルERNIE 2.0を微調整することで、強力なベースラインを構築した。
• バックボーンをマルチリンガルXLM-Rモデルに置き換え、埋め込み空間内での小さなεボール内で単語埋め込みを摂動することで敵対的訓練を実施した。
• 訓練中に一般化性能を向上させるために、α=1の半教師付き敵対的損失を導入した。
• Adam最適化手法を用い、学習率を線形ウェルカムスケジュールで調整し、5エポック分訓練した。開発セットでの性能を基準に最良のモデルを選択した。
• 10-fold交差検証モデルと多様なハイパーパramータ設定を組み合わせたアンサンブルを構築し、予測結果を確率平均化することで統合した。
• 未知語を削減し、特にインド・ヨーロッパ語族間のクロスリンガル転送を向上させるために、BPEトークン化を適用した。

実験結果

リサーチクエスチョン

• RQ1 ERNIEのような単言語事前学習モデルが、ドメイン転送を経て、リソースが限られたコードミックスセンチメント分類タスクで強力な性能を発揮できるか？
• RQ2 埋め込み空間における摂動を伴う敵対的訓練が、コードミックステキストにおけるモデルの一般化性能と性能に与える影響は何か？
• RQ3 コードミックスセンチメント分類において、敵対的訓練における最適なε値は何か？また、その値が開発セットおよびテストセットスコアに与える影響は？
• RQ4 敵対的訓練は、小規模なコードミックスデータセットにおける過学習を軽減するか？その効果は、fold間での一般化性能の向上として顕在化するか？
• RQ5 多様なモデルとハイパーパramータを組み合わせたアンサンブル手法により、個々のモデルを上回る性能向上が達成できるか？

主な発見

• 単言語モデルERNIE 2.0は、英語のみで学習されたにもかかわらず、強力なベースラインとしてテストF1スコア0.6725を達成した。これは、ドメイン転送が効果的であることを示している。
• ERNIEをXLM-Rに置き換えることで、テストF1スコアは0.7177に向上した。これは、マルチリンガル事前学習がコードミックスタスクに有益であることを示している。
• ε=5で敵対的訓練を実施したモデルが、最高のテストF1スコア0.7349を達成した。これは、敵対的正則化がモデルの頑健性と性能を向上させることを示している。
• ε=2のモデルが、開発F1スコア0.6723を達成し、最良の開発スコアを記録した。これは、中程度の摂動レベルが一般化性能を最適化することを示している。
• 最終的なアンサンブルモデルは、最先端のF1スコア0.7526を達成し、SemEval-2020 Task 9コンペティションで1位を獲得した。
• 改善は見られたが、ニュートラルクラスの精度は低く、モデルが明確なセンチメントの兆候を検出することに偏っており、曖昧またはニュートラルな例に対しては困難を抱えていることが示された。