[論文レビュー] Lingvo: a Modular and Scalable Framework for Sequence-to-Sequence Modeling

Jonathan Shen, Patrick Nguyen+89 more|arXiv (Cornell University)|Feb 21, 2019

Algorithms and Data Compression参考文献 3被引用数 183

ひとこと要約

Lingvo は、推定系列対系列モデルのモジュール化可能なビルディングブロックを備えた TensorFlow フレームワークであり、集中化された実験設定、分散訓練、推論や量化といった本番環境向けコンポーネントを特徴とします。

ABSTRACT

Lingvo is a Tensorflow framework offering a complete solution for collaborative deep learning research, with a particular focus towards sequence-to-sequence models. Lingvo models are composed of modular building blocks that are flexible and easily extensible, and experiment configurations are centralized and highly customizable. Distributed training and quantized inference are supported directly within the framework, and it contains existing implementations of a large number of utilities, helper functions, and the newest research ideas. Lingvo has been used in collaboration by dozens of researchers in more than 20 papers over the last two years. This document outlines the underlying design of Lingvo and serves as an introduction to the various pieces of the framework, while also offering examples of advanced features that showcase the capabilities of the framework.

研究の動機と目的

• 推定系列対系列モデルの迅速なプロトタイピングのための、モジュール化され拡張可能なフレームワークを提供する。
• 集中化されたハイパーパラメータ設定とレジストリ駆動のモデル設定を通じて、再現性と比較可能な実験を可能にする。
• 推論と量子化を含む、拡張可能な分散訓練とデプロイをサポートする。
• マルチタスクモデリングと、タスク間での共通ビルディングブロックの再利用性を促進する。

提案手法

• 容易な組み合わせのための統一インターフェースを備えたモジュール型ビルディングブロック（Layers、Inputs、Params）を導入する。
• 階層的な Params システムを活用して、レイヤー、タスク、モデルを構成し、実験設定で明示的なデフォルトを上書きする。
• 単一タスクおよびマルチタスクモデルを容易にインスタンス化できるよう、モデルレジストリとデコレータを提供する。
• 複数のジョブランナーとパラメータサーバースタイルの設定で、同期的および非同期的な分散訓練をサポートする。
• バケット化バッチ処理を備えた入力処理パイプラインと、複数のトークナイザとデータ形式のサポートを提供する。
• 推論と量子化の機能を取り入れ、本番環境デプロイと効率性を実現する。

Figure 2: An overview of the Lingvo framework, outlining how models are instantiated, trained, and exported for evaluation and serving.

実験結果

リサーチクエスチョン

• RQ1 モジュール化され再利用可能なビルディングブロックのセットは、推定系列対系列モデルの開発と実験をどのように加速できるか？
• RQ2 統一された Params 主導の設定とモデルレジストリは、研究者やタスク間の再現性と比較可能性を向上させるか？
• RQ3 このようなフレームワーク内での分散訓練とマルチタスク学習の実用的な考慮事項と機構は何か？
• RQ4 推論と量子化を、トレーニングに使用される同じコードベースに組み込んでデプロイを合理化できるか？

主な発見

• Lingvo は、モジュール化されたレイヤー、入力処理、階層的設定と容易な上書きをサポートする Params システムを備えた一貫した設計を提供します。
• 明示的なハイパーパラメータ宣言、集中化された設定、ランタイムログにより、実験の再現と比較がより容易になります。
• このフレームワークは、複数のジョブランナーとデバイスにまたがる非同期および同期分散訓練をサポートします。
• Lingvo には、共有変数と構成可能なタスクウェイトを備えたマルチタスクモデルのサポートが含まれています。
• 推論と量子化が統合されており、同じフレームワーク内で推論グラフのエクスポートとデバイス固有の実装を可能にします。