[論文レビュー] PyText: A Seamless Path from NLP research to production

A. Aly, Kushal Lakhotia+8 more|arXiv (Cornell University)|Dec 12, 2018

Topic Modeling参考文献 9被引用数 16

ひとこと要約

PyText は、ONNX を介して Caffe2 へのスムーズなモデルエクスポートを可能にすることで、迅速な研究プロトタイピングとインダストリアルスケールのデプロイメントを橋渡しする PyTorch ベースの NLP フレームワークです。低遅延推論を実現しています。モジュラーで拡張可能なコンポonentと一元化されたワークフローにより、トレーニングと推論の両方でデータの一貫性とパフォーマンスを維持し、NLP モデルのプロダクションまでの時間を短縮しています。

ABSTRACT

We introduce PyText - a deep learning based NLP modeling framework built on PyTorch. PyText addresses the often-conflicting requirements of enabling rapid experimentation and of serving models at scale. It achieves this by providing simple and extensible interfaces for model components, and by using PyTorch's capabilities of exporting models for inference via the optimized Caffe2 execution engine. We report our own experience of migrating experimentation and production workflows to PyText, which enabled us to iterate faster on novel modeling ideas and then seamlessly ship them at industrial scale.

研究の動機と目的

• 迅速な NLP モデルの実験とプロダクションデプロイメントの間のギャップに対処すること。
• 柔軟なプロトタイピングと大規模な高パフォーマンス推論を両立できる統一されたフレームワークを提供すること。
• トレーニングと推論の両ステージで C++ ベースの特徴量化とボキャブラリー管理を共有することで、データの不一致を解消すること。
• ONNX を介して PyTorch モデルを Caffe2 にエクスポートすることで、低遅延かつ高スループットの推論を可能にすること。
• モデルのトレーニング、評価、デプロイメントのための明確で拡張可能なワークフローを通じて、研究からプロダクションへの移行を簡素化すること。

提案手法

• PyText は、各モデル要素（データハンドラ、モデル、最適化関数、メトリクスレポート、トレーナ、予測器、エクスポートャ）が構成可能で登録可能なコンポonentであるコンポーネントベースのアーキテクチャを採用しています。
• トレーニングには PyTorch の動的計算を活用し、ONNX を介して Caffe2 にモデルをエクスポートすることで最適化された推論を実現しています。
• C++ ベースの特徴量化ライブラリが、文字列の前処理（トークン化、正規化、ID マッピング）をトレーニングと推論の両方で一貫して処理しています。
• ボキャブラリー管理は、エクスポートされた Caffe2 モデルのグラフを後処理してボキャブラリーを直接埋め込むことで実現され、ランタイムでの同期問題を回避しています。
• フレームワークは ONNX を介したモデルエクスポートをサポートしており、C++ ベースの推論と FP16 サポートにより、より高速なトレーニングが可能になっています。
• モデルの監視には TensorBoard や Visdom との統合が可能であり、今後は LIME や SHAP を用いたモデルの解釈性の向上も計画しています。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングフレームワークは、どのように迅速な NLP モデルの実験を可能にしながら、低遅延かつ高スループットのプロダクションデプロイメントを実現できるか？
• RQ2 どのようなアーキテクチャパターンが、トレーニングと推論パイプラインの両方で一貫したデータ前処理とボキャブラリー管理を可能にするか？
• RQ3 ONNX を介して PyTorch モデルを Caffe2 にエクスポートすることで、推論の遅延とスループットにどの程度の改善が得られるか？
• RQ4 統一されたワークフローは、産業環境における新規 NLP モデルのプロダクションまでの時間をどの程度短縮できるか？
• RQ5 Python ベースの推論から C++ コンパイル済みモデルへの移行により、どの程度のパフォーマンス向上が達成可能か？

主な発見

• PyTorch の C++ API を介して Python から C++ にモデルを移行することで、推論遅延が顕著に低減され、JointBLSTM モデルでは顕著な改善が得られ、RNNG ではわずかだが価値ある向上が見られた。
• C++ ベースの特徴量化ライブラリにより、トレーニングと推論間でのデータの一貫性が確保され、別々の前処理パイプラインが原因となる不一致が解消された。
• エクスポートされた Caffe2 モデルのグラフを後処理してボキャブラリーを埋め込む手法は、リモートでバージョン管理されたボキャブラリーを維持する方法よりも信頼性が高く、同期の問題を回避できた。
• フレームワークにより、新規なモデルのアイデアに対する反復が迅速に行えるようになり、大規模なスケールでのシームレスなデプロイメントが可能になり、研究からプロダクションまでの時間が短縮された。
• パフォーマンスベンチマークの結果、C++ コンパイル済みモデルは Python ベースのモデルよりも低遅延を達成しており、特に CPU 僅今の環境では顕著な差が見られた。
• ONNX を用いたモデルエクスポートにより、Caffe2 の最適化された推論エンジンを介した効率的なデプロイメントが可能になり、産業スケールでのサービングをサポートした。