[論文レビュー] HuggingFace's Transformers: State-of-the-art Natural Language Processing

Thomas Wolf, Lysandre Debut+20 more|arXiv (Cornell University)|Oct 9, 2019

Topic Modeling参考文献 35被引用数 3,125

ひとこと要約

Transformersは、統一API、事前学習済みモデルハブ、NLPタスク全体での容易な展開とファインチューニングを可能にする最先端のTransformerアーキテクチャのオープンソースライブラリを提供します。

ABSTRACT

Recent progress in natural language processing has been driven by advances in both model architecture and model pretraining. Transformer architectures have facilitated building higher-capacity models and pretraining has made it possible to effectively utilize this capacity for a wide variety of tasks. extit{Transformers} is an open-source library with the goal of opening up these advances to the wider machine learning community. The library consists of carefully engineered state-of-the art Transformer architectures under a unified API. Backing this library is a curated collection of pretrained models made by and available for the community. extit{Transformers} is designed to be extensible by researchers, simple for practitioners, and fast and robust in industrial deployments. The library is available at \url{https://github.com/huggingface/transformers}.

研究の動機と目的

• 統一されたTransformerライブラリが研究と生産展開を加速させる方法を実証する。
• 一貫したAPI内でのアーキテクチャのバリエーション、トークナイザ、タスク固有ヘッドを紹介する。
• 事前学習済みモデルの共有、ファインチューニング、ベンチマークを容易にするModel Hubを強調する。
• PyTorchとTensorFlowエコシステム全体でのデプロイメント経路と生産志向の機能を説明する。

提案手法

• Tokenizers、Transformers、Headsから成るライブラリ設計を説明する。
• 実装済みアーキテクチャとそれらのタスク固有適応を調査する。
• モデル間・フレームワーク間の高速切替を実現するAutoクラスを説明する。
• モデルカードとライブ推論を備えた集中型Model Hubを紹介し、アクセス性を高める。
• TorchScript、ONNX、エッジデバイス適応を含むデプロイメントワークフローを説明する。

実験結果

リサーチクエスチョン

• RQ1 統一APIは、研究と生産のために異なるTransformerアーキテクチャ間の切り替えをいかに容易にするか。
• RQ2 単一ライブラリ内で幅広いNLPタスクをサポートするために必須の構成要素（トークナイザ、transformers、heads）は何か。
• RQ3 Model Hubは、事前学習済みモデルの共有、ベンチマーキング、デプロイをどのように促進するか。
• RQ4 デプロイ戦略（TorchScript、ONNX、CoreMLなど）は、プラットフォーム間での生産性能を最適化する方法として何を提供するか。
• RQ5 コミュニティ貢献がライブラリ内のモデルの入手性と多様性に与える影響は何か。

主な発見

• Transformersは、Model Hubを介した大量の事前学習済みモデルを含む集中型で拡張可能なAPIを提供する。
• ライブラリは共通ベースとタスク固有ヘッドを通じて、BERT、GPT-2、RoBERTa、XLNet、T5などの複数のアーキテクチャをサポートする。
• トークナイザはRustベースのバックエンドで最適化され、大規模データセットの前処理を高速化する。
• Model Hubはモデルカード上でライブ推論を可能にし、専門家以外のユーザーによるファインチューニングとデプロイを促進する。
• デプロイメントワークフローはPyTorchとTensorFlowの相互運用、TorchScript、ONNX、エッジデバイス適応を横断する。