[論文レビュー] UER: An Open-Source Toolkit for Pre-training Models

Zhe Zhao, Hui Chen+8 more|arXiv (Cornell University)|Sep 12, 2019

Topic Modeling参考文献 22被引用数 5

ひとこと要約

UER は、交換可能なコンponents（エンコーダー、ターゲット、ファインチューニング戦略）を組み合わせることで、多様な NLP モデルの事前学習を実現するオープンソースでモジュラーな PyTorch ツールキットです。公開のモデルズーから入手可能な事前学習済みモデルを用いることで、競争力あるか、最先端（SOTA）の性能を達成しています。特に、同等またはそれ以上の精度で BERT の効率的代替品を提供しています。

ABSTRACT

Existing works, including ELMO and BERT, have revealed the importance of pre-training for NLP tasks. While there does not exist a single pre-training model that works best in all cases, it is of necessity to develop a framework that is able to deploy various pre-training models efficiently. For this purpose, we propose an assemble-on-demand pre-training toolkit, namely Universal Encoder Representations (UER). UER is loosely coupled, and encapsulated with rich modules. By assembling modules on demand, users can either reproduce a state-of-the-art pre-training model or develop a pre-training model that remains unexplored. With UER, we have built a model zoo, which contains pre-trained models based on different corpora, encoders, and targets (objectives). With proper pre-trained models, we could achieve new state-of-the-art results on a range of downstream datasets.

研究の動機と目的

• さまざまな NLP タスクやハードウェア制約に応じた、柔軟で拡張可能なフレームワークの不足を解消すること。
• 研究者や実務家が、必要に応じてモジュラーなコンponents（エンコーダー、ターゲット、ファインチューニング戦略）を組み合わせてカスタム事前学習モデルを構築できるようにすること。
• 異なるコーパス、エンコーダー、目的に基づいた事前学習済みモデルを含む、公開可能なモデルズーを構築・維持すること。
• 特定のタスクに最適な事前学習目的やエンコーダーを選択することで、2層LSTMのような軽量アーキテクチャであってもモデル性能を顕著に向上させられることを示すこと。
• 研究および産業応用の両方を想定し、再現性と拡張性を備えた、高性能で分散学習に対応可能なツールキットを提供すること。

提案手法

• UER は、サブエンコーダー、エンコーダー、事前学習ターゲット、ダウンストリームファインチューニング戦略という4つのコアコンponentsから構成される、緩く結合されたフレームワークです。各コンponentsには複数のプラグアンドプレイモジュールが用意されています。
• ツールキットはモジュラーな構成をサポートしており、ユーザーはさまざまなエンコーダー（例：BERTスタイルのTransformer、LSTM）、目的（例：MLM、NSP、CLS、言語モデル）およびファインチューニングアプローチを自由に組み合わせられます。
• 大規模でドメイン特化したコーパス（例：アマゾンレビュー、Wikipedia、BookCorpus）を用いて、PyTorch を用いて分散学習をサポートしながら、事前学習が実行されます。
• 新しいモジュールの統合を容易にするために、明確で最小限のインターフェースを備えたAPIを提供しており、既存モデル（例：BERT）の再現から新規アーキテクチャの開発までを可能にしています。
• UER を用いてモデルズーが構築されており、さまざまなエンコーダー、目的、コーパスに基づいた事前学習済みモデルがすべて GitHub を通じて公開されています。
• 評価には、HuggingFace や ERNIE のベースラインと一致する再現性の確認と、エンコーダーや目的の選択がダウンストリームタスクに与える影響を評価するアブレーションスタディが含まれます。

実験結果

リサーチクエスチョン

• RQ1 モジュラーでオープンソースのツールキットは、パフォーマンスを損なわせることなく、多様な事前学習モデルの効率的で柔軟な実装を可能にできるか？
• RQ2 CLS を NSP の代わりに使用するような代替事前学習目的は、センテンスレベル分類タスク（例：センチメント分析）のパフォーマンスをどの程度向上させられるか？
• RQ3 ドメイン特化コーパスで最適化された目的で事前学習された 2 層 LSTMs などの軽量エンコーダーは、BERT と同等またはそれ以上の性能を達成できるか？
• RQ4 コーパス、エンコーダー、目的に基づくモデル選択が、多様な NLP タスクにおけるダウンストリームパフォーマンスにどのように影響するか？
• RQ5 BERT などの最先端（SOTA）性能と高い学習効率を両立できる統合ツールキット UER は、リソース制約のある環境でも有効に機能するか？

主な発見

• UER はベンチマークデータセット上で BERT や ERNIE のパフォーマンスを再現し、HuggingFace や ERNIE の実装と比較して同等またはそれを上回る結果を達成しました。
• ドメイン特化コーパス（例：アマゾンレビュー）で事前学習することで、Wikipedia で学習された BERT-base Chinese よりもセンチメント分析タスクでの性能が顕著に向上しました。
• センテンスレベルのレビュー分類において、CLS を目的としたアプローチが、MLM 僅用や NSP を目的としたアプローチを上回り、Chnsenticorp データセットで 95.8% の精度を達成しました。
• 2 層 LSTMs をエンコーダーに用い、アマゾンレビューで事前学習したモデルは、Chnsenticorp で 94.5% の精度を達成し、BERT-base Chinese のベースライン（94.3%）を上回りました。これは、効率性とパフォーマンスが両立可能であることを示しています。
• UER で構築されたモデルズーにより、ユーザーは特定のダウンストリームタスクに最適な事前学習済みモデルを選択でき、汎用的な事前学習済みモデルよりも一貫した性能向上が得られました。
• UER は分散学習をサポートしており、ドキュメント化されたスクリプトを通じて完全な再現性を提供しており、研究者が最小限のセットアップで結果を再現可能になっています。