[論文レビュー] Universal Language Model Fine-Tuning with Subword Tokenization for Polish

Piotr Czapla, Jeremy Howard+1 more|arXiv (Cornell University)|Oct 24, 2018

Natural Language Processing Techniques参考文献 14被引用数 8

ひとこと要約

本稿では、スロベニア語のような語形変化が豊富な言語であるポーランド語の言語モデル構築を改善するために、SentencePieceを用いたサブワードトークン化とユニバーサル言語モデルファインチューニング（ULMFiT）を組み合わせたアプローチを提案する。ULMFiTをユニグラムサブワードトークン化で適応させることで、PolEval'18テストセットにおいて95.0という新しいSOTAの perplexity を達成し、2番目に良いモデルより35%優れている。また、低リソース環境における下流NLPタスクへの転移学習の可能性も強く示している。

ABSTRACT

Universal Language Model for Fine-tuning [arXiv:1801.06146] (ULMFiT) is one of the first NLP methods for efficient inductive transfer learning. Unsupervised pretraining results in improvements on many NLP tasks for English. In this paper, we describe a new method that uses subword tokenization to adapt ULMFiT to languages with high inflection. Our approach results in a new state-of-the-art for the Polish language, taking first place in Task 3 of PolEval'18. After further training, our final model outperformed the second best model by 35%. We have open-sourced our pretrained models and code.

研究の動機と目的

• 標準的なワードレベル埋め込みやn-gramモデルの効果を制限するポーランド語の高い語形変化の問題に対処する。
• 英語を想定して開発されたULMFiTを、サブワードトークン化を用いてポーランド語の言語モデルでSOTA性能を達成するために適応する。
• 低リソース環境（例：ポーランド語）における下流NLPタスクのためのデータおよび計算リソース要件を削減し、効果的な転移学習を可能にする。
• ポーランド語NLPにおけるFastTextベースの単語表現を、より強固なサブワードベースのULMFiTフレームワークに置き換える。

提案手法

• ポーランド語の語形豊富性に対応するため、SentencePieceのユニグラムサブワードトークン化を採用し、OOVの対処と意味的類似性の保持を向上させた。
• PolEval 2018 LMデータセット上で、1150ユニットの隠れ層と400次元の埋め込みを備えた4層LSTM言語モデルを、ULMFiTのファインチューニング戦略を用いて学習した。
• 2段階の訓練プロセスを採用：まず25%のサブセットでハイパーパramータを調整し、その後、全データセットで性能最適化を実施。
• 大規模なボキャブラリーに対応するため、15,000サンプルを用いたサンプリングソフトマックスを適用。データセットサイズの制約上、サブワード正則化は回避した。
• 重複する文の除去、レアトークンの削除、および大文字の語に<up>コントロールトークンをオプションで適用するなど、テキストを前処理。
• バリデーションperplexityを用いてモデルを評価し、最終テストのための最良性能を示す設定を選定。

実験結果

リサーチクエスチョン

• RQ1 サブワードトークン化とULMFiTを組み合わせることで、語形が豊富な言語（例：ポーランド語）の言語モデル性能が向上するか？
• RQ2 ボキャブラリーのサイズは、サブワードベースのポーランド語言語モデルにおけるperplexityと一般化性能にどのように影響するか？
• RQ3 より高いメモリとトレーニングコストを要するにもかかわらず、再帰層の数を増やすことで、ポーランド語の性能が向上するか？
• RQ4 大文字の処理などのテキスト前処理は、ポーランド語言語モデルの性能にどの程度影響を与えるか？
• RQ5 サブワード表現を用いることで、ULMFiTの転移学習フレームワークは、低リソースで語形変化が豊富な言語（例：ポーランド語）に効果的に適応可能か？

主な発見

• 最良のモデルは、さらなるハイパーパramータチューニングの後、テストperplexityが95.0に達し、2番目に良いモデル（146.7）を著しく上回った。
• モデルはPolEval’18のTask 3で1位を獲得し、ポーランド語言語モデルベンチマークでSOTA性能を示した。
• ボキャブラリーのサイズがモデル性能に最も強い影響を与えた。小さなボキャブラリーでは文字レベルモデルに近づき、大きなボキャブラリーでは語幹レベルの類似性情報が失われる傾向にあった。
• 4層モデルは、全データセット上で3層モデルを上回った。これは、十分なデータで学習された場合、より深いアーキテクチャがポーランド語の語形複雑性をよりよく捉えられることを示している。
• <up>トークンを用いた大文字処理の前処理は、perplexityに顕著な影響を及ぼさなかったが、10万語のボキャブラリーではわずかな劣化が観察された。
• 最終モデルは、2番目に良いモデルより35%の相対的改善を達成し、低リソースで語形変化が豊富な言語に対して、サブワードトークン化とULMFiTの有効性を強く示している。