[論文レビュー] Mind Your Inflections! Improving NLP for Non-Standard Englishes with Base-Inflection Encoding

Samson Tan, Shafiq Joty+2 more|arXiv (Cornell University)|Apr 30, 2020

Natural Language Processing Techniques被引用数 8

ひとこと要約

本稿では、非標準英語（CSE や AAVE など）に対する NLP モデルの耐性を高めるために、語の基本形に変換し、屈曲語尾を特別な記号として符号化する Base-Inflection Encoding (BITE) を提案する。BITE は語彙の効率性を向上させ、低リソースな方言へのゼロショット一般化を可能にし、標準的な微調整と同等の計算コストで訓練収束を加速する。

ABSTRACT

Inflectional variation is a common feature of World Englishes such as Colloquial Singapore English and African American Vernacular English. Although comprehension by human readers is usually unimpaired by non-standard inflections, current NLP systems are not yet robust. We propose Base-Inflection Encoding (BITE), a method to tokenize English text by reducing inflected words to their base forms before reinjecting the grammatical information as special symbols. Fine-tuning pretrained NLP models for downstream tasks using our encoding defends against inflectional adversaries while maintaining performance on clean data. Models using BITE generalize better to dialects with non-standard inflections without explicit training and translation models converge faster when trained with BITE. Finally, we show that our encoding improves the vocabulary efficiency of popular data-driven subword tokenizers. Since there has been no prior work on quantitatively evaluating vocabulary efficiency, we propose metrics to do so.

研究の動機と目的

• コロキアル・シンガポール英語（CSE）やアフリカ・アメリカー・バーナクル・イングリッシュ（AAVE）のような非標準英語における屈曲変化への NLP モデルの脆弱性を軽減すること。
• 敵対的訓練やデータセット拡張を必要とせず、事前学習モデルの非標準的屈曲に対する耐性を向上させること。
• トークナイゼーションプロセスに語彙的構造を統合することで、サブワードトークナイザーの語彙の効率性を向上させること。
• そのようなデータに対して明示的な微調整なしに、低リソースな方言へのゼロショット一般化を可能にすること。
• 記号の複雑さを含む、トークナイゼーション方式における語彙の効率性を測定するための新しい指標を提案すること。

提案手法

• 品詞タガーを用いて文法的特徴を特定し、各単語を基本形と屈曲語尾に分離する。
• 屈曲語を基本形に正規化する（例：'climbed' → 'climb'）、そして屈曲情報は特別な記号（例：過去形動詞の '_VBD'）として符号化する。
• 得られたシーケンスを、標準的なサブワードトークナイザー（BPE、WordPiece、Unigram）でトークナイズする。これにより、語彙的構造を持つ入力を処理するようになる。
• 言語的構造を保持することで、元の文の再構築と、屈曲形の変種間での一貫した表現が可能になる。
• 入力表現に直接形態的耐性を埋め込むことで、敵対的訓練の必要性を回避する。
• 既存の微調整パイプラインと互換性があり、再学習やデータ拡張を必要としない。

実験結果

リサーチクエスチョン

• RQ1 BITE は、敵対的データや再学習を必要とせず、CSE や AAVE のような方言における非標準的屈曲変化に対して NLP モデルの耐性を向上させることができるか？
• RQ2 BITE はサブワードトークナイザーの語彙の効率性にどのような影響を与えるか？ そして、これを定量的に測定可能か？
• RQ3 BITE は、推論時に未観測の方言へのモデルのゼロショット一般化をどの程度可能にするか？
• RQ4 BITE は、機械翻訳などのシーケンス・トゥ・シーケンスタスクにおける訓練収束速度を向上させるか？
• RQ5 BITE は、屈曲変更による摂動を受けた文において、クリーンな文と敵対的な文の間の記号レベルの乖離を低減できるか？

主な発見

• 標準的なトークナイゼーションと比較して、BITE を用いることで、非標準的屈曲に対する敵対的攻撃に対するモデルの耐性が、類似度（Ratcliff/Obershelp）で 1–2.5% 向上し、記号レベルの摂動が低減していることが示された。
• BITE を用いて微調整されたモデルは、その方言に明示的な学習を経ていない状態でも、未観測の方言にうまく一般化でき、ゼロショット能力が裏付けられた。
• BITE は、BPE、WordPiece、Unigram トークナイザーのすべてにおいて、サブワードトークナイゼーションにおける記号の複雑さを最大 20% 減少させ、語彙の効率性が向上した。
• Transformer-big を用いた WMT’14 En-De 翻訳タスクにおいて、BITE を用いた訓練は収束を加速させ、訓練時間を短縮した。
• BITE は、クリーンな標準英語データの性能を維持したまま、非標準的屈曲に対する防御を可能にし、標準ベンチマークでの性能低下が見られなかった。
• 提案された記号の複雑さ指標は、語彙の効率性を的確に測定でき、トークナイゼーション方式の客観的比較を可能にした。