[論文レビュー] On the Importance of Word Order Information in Cross-lingual Sequence Labeling

Zihan Liu, Genta Indra Winata+4 more|arXiv (Cornell University)|Jan 30, 2020

Natural Language Processing Techniques被引用数 15

ひとこと要約

本稿では、低リソース対象言語へのゼロショット転送性能を向上させるために、翻訳的シーケンスラベリングモデルにおける語順情報の低減を提案する。位置埋め込みを削除または変更し、Conv1Dのような順序に依存しないアーキテクチャを用いることで、モデルの元の言語の語順に依存しなくなり、品詞タグ付け、NER、スロットフィリングの各タスクにおいて一貫した性能向上が得られる。特に、文法構造が異なる言語への一般化において顕著である。

ABSTRACT

Word order variances generally exist in different languages. In this paper, we hypothesize that cross-lingual models that fit into the word order of the source language might fail to handle target languages. To verify this hypothesis, we investigate whether making models insensitive to the word order of the source language can improve the adaptation performance in target languages. To do so, we reduce the source language word order information fitted to sequence encoders and observe the performance changes. In addition, based on this hypothesis, we propose a new method for fine-tuning multilingual BERT in downstream cross-lingual sequence labeling tasks. Experimental results on dialogue natural language understanding, part-of-speech tagging, and named entity recognition tasks show that reducing word order information fitted to the model can achieve better zero-shot cross-lingual performance. Furthermore, our proposed methods can also be applied to strong cross-lingual baselines, and improve their performances.

研究の動機と目的

• 元言語モデルにおける語順情報の低減が、クロスリンガル転送性能を向上させるかどうかを調査すること。
• 順序に敏感なモデル（例：標準的なTransformer）が元言語の語順に過剰適合することで、構文が異なる対象言語での性能が低下する問題に対処すること。
• シーケンスエンコーダーが語順に依存しなくなるようにしながらも、意味的・構文的構造を捉える能力を維持する方法を開発すること。
• 語順を低減したモデルが、多様なシーケンスラベリングタスクにおいてゼロショットクロスリンガル設定にどのように一般化するかを評価すること。
• 語順のエンコーディングが多すぎたり少なすぎたりする場合のトレードオフを分析し、クロスリンガル耐性に最適なレベルを同定すること。

提案手法

• 位置埋め込みを削除し、フィードフォワード層を1次元畳み込みネットワーク（Conv1d）に置き換えることで、局所的かつ部分的な順序情報をエンコードする「順序低減型Transformer（ORT）」を提案する。
• トレーニング時に語順シャッフルを適用し、トークンシーケンスをランダムに並び替えるパラメータkを用いることで、モデルの順序変動に対するロバスト性を高める。
• 微調整時に多言語BERT（M-BERT）の位置埋め込みを固定することで、その順序に依存しない性質を維持し、クロスリンガル一般化を向上させる。
• M-BERTの正弦波位置埋め込みを用いてORTの位置埋め込みを初期化し、トレーニング中に固定することで、順序に依存しない挙動を維持する。
• ラベルシーケンスの依存関係をモデル化するためCRF層を統合し、シーケンスラベリングに不可欠な局所的順序パターンを暗黙的にエンコードする。
• 位置埋め込み、フィードフォワード層、シャッフル、CRFの使用に関するアブレーションスタディを実施し、各コンponentの影響を明確化する。

実験結果

リサーチクエスチョン

• RQ1 元言語の語順に依存するモデルの依存度を低減することで、シーケンスラベリングタスクにおけるゼロショットクロスリンガル性能が向上するか？
• RQ2 Conv1dのカーネルサイズによってエンコードされる語順の量が、対象言語への一般化にどのように影響するか？
• RQ3 微調整時にM-BERTの位置埋め込みを固定することで、クロスリンガル転送性が向上するか？
• RQ4 語順エンコーディングの最適なレベル（多すぎても少なすぎても）は何か？—クロスリンガルラベリングにおいて。
• RQ5 語順シャッフルされたデータで学習することで、語順が異なる対象言語でもロバスト性が向上するか？

主な発見

• Conv1dを用いた順序低減型Transformer（ORT）は、標準Transformerや相対的位置埋め込みを用いたTransformer（RPT）を上回り、スロットフィリングタスクで66.84 F1を達成する。
• トレーニング時に語順をシャッフルすることでロバスト性が向上する。k=4のとき、ORTは63.54 F1を達成し、シャッフルなしのベースラインを上回る。
• 微調整時にM-BERTの位置埋め込みを固定することで、その順序に依存しない性質が維持され、対象言語への一般化が向上する。
• 過剰な語順エンコーディング（例：ORTにおけるカーネルサイズ10）はゼロショット性能を低下させ、順序に敏感すぎる場合が転送性を損なうことを示している。
• 語順情報を一切エンコードしないモデル（例：位置埋め込みなしのORT）は、元言語・対象言語の両方で性能が著しく低下しており、ある程度の語順情報が必要であることが示されている。
• CRF層は性能を顕著に向上させ、ORT + CRFはスロットフィリングタスクで66.84 F1を達成しており、ラベルシーケンスの依存関係がシーケンスラベリングタスクにおいて不可欠であることが示唆される。