[論文レビュー] Char2Subword: Extending the Subword Embedding Space from Pre-trained Models Using Robust Character Compositionality.

Gustavo Aguilar, Bryan McCann+4 more|arXiv (Cornell University)|Oct 24, 2020

Natural Language Processing Techniques被引用数 10

ひとこと要約

本論文では、文字からサブワード埋め込みを学習する文字ベースのサブワードモジュール、Char2Subwordを提案する。このモジュールにより、綴りのばらつきや文字レベルの摂動に対して頑健な性能を発揮するとともに、BERTのサブワード埋め込み層の即時置き換えが可能となる。事前学習段階でトランスフォーマー重みを固定した状態でモジュールを統合することで、言語的コードスイッチィングを対象とするLinCEベンチマークで、多言語BERTを上回る性能を達成した。

ABSTRACT

Byte-pair encoding (BPE) is a ubiquitous algorithm in the subword tokenization process of language models. BPE provides multiple benefits, such as handling the out-of-vocabulary problem and reducing vocabulary sparsity. However, this process is defined from the pre-training data statistics, making the tokenization on different domains susceptible to infrequent spelling sequences (e.g., misspellings as in social media or character-level adversarial attacks). On the other hand, pure character-level models, though robust to misspellings, often lead to unreasonably large sequence lengths and make it harder for the model to learn meaningful contiguous characters. To alleviate these challenges, we propose a character-based subword transformer module (char2subword) that learns the subword embedding table in pre-trained models like BERT. Our char2subword module builds representations from characters out of the subword vocabulary, and it can be used as a drop-in replacement of the subword embedding table. The module is robust to character-level alterations such as misspellings, word inflection, casing, and punctuation. We integrate it further with BERT through pre-training while keeping BERT transformer parameters fixed. We show our method's effectiveness by outperforming a vanilla multilingual BERT on the linguistic code-switching evaluation (LinCE) benchmark.

研究の動機と目的

• サブワードモデルにおけるBPEトークン化の、ドメイン外の綴りのばらつきや文字レベルの摂動に対する脆弱性を是正すること。
• 純粋な文字レベルモデルが直面する長序列の問題と連続する文字の学習が不十分であるという制限を克服すること。
• サブワード埋め込みの頑健性を向上させるために、文字レベルの構成性を活用する即挿し可能なモジュールを開発すること。
• 事前学習段階でBERTのトランスフォーマーパラメータを固定したまま、コードスイッチィングおよび未知語の状況における汎化性能の向上を図ること。
• LinCEベンチマーク（多言語コードスイッチィングの頑健性を評価する基準）において、性能の向上を実証すること。

提案手法

• Char2Subwordモジュールは、学習可能な文字埋め込みテーブルを用いて個々の文字の表現を合成することで、サブワード埋め込みを学習する。
• アテンションやプーリングなどの微分可能で構成可能なメカニズムを用いて、文字レベルの特徴を集約することでサブワード表現を構築する。
• このモジュールは、BERTの元のサブワード埋め込み層の置き換えとして挿入され、トランスフォーマーのアーキテクチャとアテンションメカニズムをそのままで保持する。
• 事前学習段階では、サブワード埋め込みテーブルと文字埋め込みテーブルのみを更新し、すべてのトランスフォーマー層を固定することでパラメータ効率を確保する。
• 下流タスクでは、標準的な微調整プロトコルに従って微調整を行い、綴りのばらつきやコードスイッチィングに対する頑健性を重視する。
• この手法により、大文字・小文字の変化、標点符号、およびわずかな綴り間違いに対して不変なサブワード表現のエンドツーエンド学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 文字ベースのサブワードモジュールは、サブワードトークン化における綴りのばらつきや文字レベルの摂動に対して、頑健性を向上させることができるか？
• RQ2 Char2Subwordで強化されたBERTモデルは、コードスイッチィングベンチマークにおいて、通常の多言語BERTと比較してどの程度優れた性能を示すか？
• RQ3 トランスフォーマーのアーキテクチャを変更せずに、文字レベルの構成メカニズムがサブワード表現学習をどの程度改善できるか？
• RQ4 Char2Subwordを用いて事前学習段階でトランスフォーマー重みを固定した場合、低リソースまたはドメイン外の入力におけるモデルの汎化性能は維持されたり向上したりするか？

主な発見

• Char2Subwordモジュールは、綴り間違い、大文字小文字の変更、句読点の変更といった綴りのばらつきに対して、顕著な頑健性の向上を示した。
• モデルはLinCEベンチマークにおいて、通常の多言語BERTを上回り、言語的コードスイッチィングの状況でも優れた性能を発揮した。
• サブワード埋め込み層の即時置き換えとしてChar2Subwordを統合することで、トランスフォーマー層の微調整なしに下流タスクの性能が向上した。
• すべてのトランスフォーマーパラメータを事前学習段階で固定することで、高い効率性を維持し、最適化を文字埋め込みテーブルとサブワード埋め込みテーブルに集中させた。