[論文レビュー] Handshakes AI Research at CASE 2021 Task 1: Exploring different approaches for multilingual tasks

Vivek Kalyan, Paul Tan+2 more|arXiv (Cornell University)|Oct 29, 2021

Computational and Text Analysis Methods被引用数 4

ひとこと要約

本稿では、事前学習済みマルチリンガルトランスフォーマーを用いて、ドキュメント、文、共参照、イベント抽出の各タスクにおいて、社会的・政治的および危機的イベントを検出するマルチリンガルアプローチを提示する。単一のXLM-RoBERTaモデルを、英語、スペイン語、ポルトガル語、ヒンディー語を含む統合マルチリンガルデータセット上で訓練し、単語レベルの翻訳とLaBSE埋め込みを用いたクロスリンガル転送を活用することで、特にヒンディー語のような未学習言語へのゼロショット一般化性能が向上し、最先端の性能を達成した。

ABSTRACT

The aim of the CASE 2021 Shared Task 1 (H\\"urriyeto\\u{g}lu et al., 2021) was to detect and classify socio-political and crisis event information at document, sentence, cross-sentence, and token levels in a multilingual setting, with each of these subtasks being evaluated separately in each test language. Our submission contained entries in all of the subtasks, and the scores obtained validated our research finding: That the multilingual aspect of the tasks should be embraced, so that modeling and training regimes use the multilingual nature of the tasks to their mutual benefit, rather than trying to tackle the different languages separately. Our code is available at https://github.com/HandshakesByDC/case2021/

研究の動機と目的

• 複数のNLPタスクにわたる社会的・政治的および危機的イベントの検出と分類を統合的に行うマルチリンガルシステムの開発。
• マルチリンガルデータ上で共同訓練することで、言語別に最適化された微調整に比べて性能が向上するかどうかの調査。
• タスク固有のトレーニングデータが存在しない低リソース言語（ヒンディー語など）に対して、ゼロショット分類を可能にする。
• 単語対単語の翻訳とマルチリンガル文書埋め込みを用いたクロスリンガル転送の有効性の評価。
• 複数言語にわたる共有モデリングが、学習済み言語および未学習言語の両方の性能に与える影響の特定。

提案手法

• 英語、スペイン語、ポルトガル語、ヒンディー語をカバーする統合マルチリンガルデータセット上で、単一のXLM-RoBERTa-baseモデルを訓練。
• 低リソース言語向けにクロスリンガル転送を可能にするために、LaBSEおよびLASER埋め込みを活用。
• 二国語辞書を用いた単語レベルの翻訳を適用し、二次言語用の合成トレーニングデータを生成。
• イベント抽出におけるBIOタギングの一貫性を維持するために、制約付き遷移確率を用いたビタビデコードを採用。
• 全言語のトレーニングデータを統合し、1つのデータセットとして扱うことで、モデルの一般化性能を向上。
• バイナリ分類タスク用に、プールドトランスフォーマー出力の上に分類ヘッドを微調整。

実験結果

リサーチクエスチョン

• RQ1 統合データ上で訓練された単一のマルチリンガルモデルが、言語別に最適化されたモデルを上回る性能を示せるか？
• RQ2 翻訳済みデータを用いたクロスリンガル転送が、ヒンディー語のような低リソース言語の性能にどの程度向上効果をもたらすか？
• RQ3 共同マルチリンガルトレーニングは、英語のような高リソース言語の性能に、モノリンガル微調整と比較してどの程度影響を与えるか？
• RQ4 マルチリンガル文書埋め込み（例：LaBSE、M-USE）の使用が、未学習言語へのゼロショット一般化に効果をもたらすか？
• RQ5 制約付きデコード（例：BIO制約付きのビタビ）が、マルチリンガル環境下でのイベント抽出品質に与える影響は？

主な発見

• サブタスク2（文分類）において、最良のモデルがポルトガル語でコンペティションF1スコア0.8506を達成し、言語別ベースラインを上回った。
• 統合マルチリンガルデータセット上でトレーニングすることで、スペイン語およびポルトガル語の性能が向上したが、英語は既に豊富なデータが存在するため、わずかな向上にとどまった。
• サブタスク4（イベント抽出）において、ビタビデコードと単語対単語の翻訳データを併用したモデルは、英語で検証F1スコア82.53、スペイン語で62.17、ポルトガル語で72.75を達成した。
• サブタスク4において、サブタスク4の最終コンペティション順位は、スペイン語およびポルトガル語で2位を獲得し、二次言語への強力な一般化性能を示した。
• テストセットの性能は検証セットよりも約5%低く、検証スプリットに分布シフトやデータリークの可能性があることを示唆した。
• 翻訳済み二次言語データの追加により収束時間が約2倍に延長されたが、F1スコアが向上したため、性能劣化を伴わずに効果的なデータ拡張が実現した。