[論文レビュー] The streaming rollout of deep networks - towards fully model-parallel execution

Volker Fischer, Jan M. Köhler+1 more|arXiv (Cornell University)|Jun 13, 2018

Adversarial Robustness in Machine Learning参考文献 37被引用数 8

ひとこと要約

本論文は、深層ニューラルネットワークのロールアウトに関する理論的枠組みを提示し、時間ステップ間の計算的分離度を最大化することで、完全なモデル並列推論を可能にする「ストリーミングロールアウト」を提案する。ストリーミングロールアウトが最短の応答時間と最高の入力サンプリング周波数を達成することを証明しており、実験結果では従来の逐次的ロールアウトと比較して初期段階および最終段階の性能が向上している。また、実装用のオープンソースツールボックスを提供している。

ABSTRACT

Deep neural networks, and in particular recurrent networks, are promising candidates to control autonomous agents that interact in real-time with the physical world. However, this requires a seamless integration of temporal features into the network's architecture. For the training of and inference with recurrent neural networks, they are usually rolled out over time, and different rollouts exist. Conventionally during inference, the layers of a network are computed in a sequential manner resulting in sparse temporal integration of information and long response times. In this study, we present a theoretical framework to describe rollouts, the level of model-parallelization they induce, and demonstrate differences in solving specific tasks. We prove that certain rollouts, also for networks with only skip and no recurrent connections, enable earlier and more frequent responses, and show empirically that these early responses have better performance. The streaming rollout maximizes these properties and enables a fully parallel execution of the network reducing runtime on massively parallel devices. Finally, we provide an open-source toolbox to design, train, evaluate, and interact with streaming rollouts.

研究の動機と目的

• 再帰的および順方向ネットワークのリアルタイム推論におけるレイテンシと低周波応答の問題に対処すること。
• 深層ネットワークにおけるロールアウトの概念を形式化し、モデル並列性および時間的挙動に与える影響を分析すること。
• ストリーミングロールアウトが完全並列実行を可能にし、応答時間を最小限に抑えることの証明。
• ストリーミングロールアウトの設計および評価に一般化可能な理論的・実践的枠組みを提供すること。
• ストリーミングロールアウトネットワークの構築、学習、相互作用を可能にするオープンソースツールボックスの公開。

提案手法

• ネットワークロールアウトの種別をモデル化・分類するためのグラフ理論的枠組みを提案し、フレーム内およびフレーム間（ブリッジ）接続を区別する。
• 特定のロールアウトタイプとしての「ストリーミングロールアウト」を定義し、ある時間ステップにおけるすべてのノードが計算的に独立していることにより、完全なモデル並列性が達成されることを示す。
• 数学的証明を用いて、ストリーミングロールアウトが応答時間を最小限に抑え、入力サンプリング周波数を最大化できることを示す。
• オープンソースツールボックスにおいて、モジュラーでプロセスベースの実行エンジンを採用し、CPUおよびGPUにネットワーク処理を分散する。
• コアプロセスを介した同期による、ラップ・アラウンド読み取り/書き込みフェーズの切り替えを実装し、オンライン相互作用とリアルタイム推論を可能にする。
• トレーニングおよび推論の両方をサポートするため、ディープラーニングバックエンド（TheanoおよびTensorFlow）を活用する。

実験結果

リサーチクエスチョン

• RQ1 異なるロールアウト戦略は、深層ニューラルネットワークにおけるモデル並列性および時間的挙動にどのように影響を与えるか？
• RQ2 ストリーミングロールアウトは、従来の逐次的ロールアウトと比較して、完全並列実行を達成し、推論レイテンシを低減できるか？
• RQ3 再帰的およびスキップ接続付きネットワークにおいて、ロールアウト構造と応答時間またはサンプリング周波数の理論的関係は何か？
• RQ4 初期および最終段階のネットワーク応答は、ロールアウトタイプによって性能にどのように差が現れるか？
• RQ5 ストリーミングロールアウトは、リアルタイムかつ高周波の意思決定タスクにおいて、標準的なロールアウトをどの程度上回るか？

主な発見

• 数学的証明により、ストリーミングロールアウトが完全なモデル並列性のおかげで最短の応答時間と最高の入力サンプリング周波数を達成することが示された。
• 実験結果では、ストリーミングロールアウトが初期推論段階においても最終予測においても、逐次的ロールアウトよりも優れた性能を示した。
• ネットワークの複雑性が増すにつれ、ロールアウトの可能な組み合わせの数は指数関数的に増加し、特にサイクルや再帰的接続を持つネットワークで顕著である。
• オープンソースツールボックスにより、マルチGPU環境下でのストリーミングロールアウトネットワークの効率的設計、学習、リアルタイム相互作用が可能になった。
• スキップ接続のみを有するネットワークでもストリーミングロールアウトが恩恵をもたらすことが実証され、再帰性が時間的応答性向上に必須ではないことが示された。
• CIFAR-10、MNIST、GTSRBのデータセットを用いた実験により、ストリーミングロールアウトが初期および最終の性能指標において、常に逐次的ロールアウトを上回ることが確認された。