[論文レビュー] NeMo: a toolkit for building AI applications using Neural Modules

Oleksii Kuchaiev, Jason Li+12 more|arXiv (Cornell University)|Sep 14, 2019

Natural Language Processing Techniques参考文献 11被引用数 176

ひとこと要約

NeMoはニューラルモジュールをフレームワーク横断のビルディングブロックとして導入し、ニューラルタイプシステムで意味論的正確性を保証し、効率的なGPUトレーニングをサポートするASRとNLPコレクションを再利用可能にする。

ABSTRACT

NeMo (Neural Modules) is a Python framework-agnostic toolkit for creating AI applications through re-usability, abstraction, and composition. NeMo is built around neural modules, conceptual blocks of neural networks that take typed inputs and produce typed outputs. Such modules typically represent data layers, encoders, decoders, language models, loss functions, or methods of combining activations. NeMo makes it easy to combine and re-use these building blocks while providing a level of semantic correctness checking via its neural type system. The toolkit comes with extendable collections of pre-built modules for automatic speech recognition and natural language processing. Furthermore, NeMo provides built-in support for distributed training and mixed precision on latest NVIDIA GPUs. NeMo is open-source https://github.com/NVIDIA/NeMo

研究の動機と目的

• AIシステムのソフトウェア工学スタイルの分解を、明確なインタフェースを持つニューラルモジュールを通じて促進する。
• モデル構築中に静的な意味論的および次元チェックを行うニューラルタイプシステムを導入する。
• ASRとNLPタスクのための事前構築済みモジュールのコレクション（例: nemo_asr, nemo_nlp）を提供する。
• 混合精度と分散機能を備えたNVIDIA GPUで高性能トレーニングを可能にする。
• バックエンドとしてPyTorchを利用しつつ、フレームワークに依存しない抽象化を提供し、新しいバックエンドへの容易な拡張を可能にする。

提案手法

• 前方/後方データフローを記述するDAGへ組み合わせ可能な、型付きでパラメトリックなビルディングブロックとしてNeural Module (NM) を定義する。
• テンソル軸を意味論軸タイプへマッピングし、DAG構築中に静的互換性チェックを行うNeural Typeシステムを実装する。
• 遅延実行モデルとNMを組み立て接続するNeuralFactoryを備えたフレームワーク横断コア（NeMo Core）を提供する。
• 現在のバックエンドとしてPyTorchをサポートしつつ、他のバックエンドへの道筋とPyTorch nn.ModulesをNMへ自動変換する方法を概説する。
• 事前構築コレクション（例: nemo_asr, nemo_nlp）を提供し、ASR（CTCとAttentionベース）およびNLPタスク（NMT、言語モデリングなど）用のテンプレートを備える。
• 混雑計算、勾配蓄積、マルチGPU/マルチノードトレーニング（APEX）などの高性能トレーニング技術を活用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモジュールとニューラルタイプシステムは、複雑なAIモデルを構成する際の再利用性と整合性をどのように向上させるか？
• RQ2 AIアプリケーションにおけるデバッグ、設定管理、およびASRとNLP間の横断的再利用性に対する、モジュール化された型付きコンポーネントの影響は何か？
• RQ3 フレームワーク横断の抽象化とPyTorchバックエンドの組み合わせは、現代のGPU上で実用的なパフォーマンスと拡張性を提供できるか？
• RQ4 nemo_asrやnemo_nlpのような事前構築コレクションは、音声と言語タスクの迅速な開発と実験にどんな利点を提供するか？

主な発見

• NeMoは静的な型検査で意味論と次元エラーをDAG構築時に検出できる再利用可能で合成可能なモデルコンポーネントを可能にするニューラルモジュール抽象を提供する。
• ニューラルタイプシステムは意味継承、軸レベル制約、明示的ポートインタフェースをサポートし、モジュール間の互換性を改善し沈黙的なエラーを減らす。
• NeMoは混合精度、動的損失スケーリング、勾配蓄積による大規模バッチまたは分散設定で実用的な高性能トレーニングを NVIDIA GPUsで達成する。
• nemo_asrコレクションはCTCベースおよびシーケンス対シーケンスのASRモデルをサポートし、Jasper風のアーキテクチャと再利用可能なデータレイヤーとエンコーダで実証、エンドツーエンドのトレーニングワークフローを成功させた。
• nemo_nlpコレクションはNMT、言語モデリング、BERTベースのファインチューニングなどのタスクをサポートし、事前学習済みコンポーネントを備えたTransformerベースのパイプラインを可能にする。
• 実証例：TransformerベースのNMT設定がWMT16 English-Germanで8 GPUs使用で新しいnewstest2014後約15時間で29.2 BLEU / 28.5 SacreBLEUを達成。