[論文レビュー] Dynamically Throttleable Neural Networks (TNN)

Hengyue Liu, Samyak Parajuli+3 more|arXiv (Cornell University)|Nov 1, 2020

Advanced Neural Network Applications参考文献 47被引用数 4

ひとこと要約

本稿では、実行時適応型フレームワークである Dynamically Throttleable Neural Networks (TNN) を導入する。TNN は、1つのリソース利用制御パラメータを用いて、深層ニューラルネットワークがパフォーマンスとリソース使用量を自己調整可能にする。実行時ドロップアウトと文脈に配慮したコントローラーの分離を用いて TNN モジュールを訓練することで、画像および動画分類タスクにおいて、ピーク精度を維持したまま最大 74% の遅延低減と 52% のエネルギー節約を達成した。

ABSTRACT

Conditional computation for Deep Neural Networks (DNNs) reduce overall computational load and improve model accuracy by running a subset of the network. In this work, we present a runtime throttleable neural network (TNN) that can adaptively self-regulate its own performance target and computing resources. We designed TNN with several properties that enable more flexibility for dynamic execution based on runtime context. TNNs are defined as throttleable modules gated with a separately trained controller that generates a single utilization control parameter. We validate our proposal on a number of experiments, including Convolution Neural Networks (CNNs such as VGG, ResNet, ResNeXt, DenseNet) using CiFAR-10 and ImageNet dataset, for object classification and recognition tasks. We also demonstrate the effectiveness of dynamic TNN execution on a 3D Convolustion Network (C3D) for a hand gesture task. Results show that TNN can maintain peak accuracy performance compared to vanilla solutions, while providing a graceful reduction in computational requirement, down to 74% reduction in latency and 52% energy savings.

研究の動機と目的

• リソース制約が変動する実世界の環境において、静的であるがゆえに非効率な深層ニューラルネットワークの課題を解決すること。
• ネットワークトポロジーの実行時適応を可能にすることで、モデルの精度と計算効率のトレードオフを克服すること。
• コントローラーを主ネットワークから分離し、柔軟でアプリケーション固有のスロットリングポリシーを可能にすること。
• 1つのスカラ値であるリソース利用パララメータを用いて、効率的で低オーバーヘッドの条件付き計算を実現すること。
• 実時間の電力および遅延測定を用いて、組み込みシステムにおける動的スロットリングの実用的妥当性を示すこと。

提案手法

• 推論時において条件付きで有効化または無効化可能な、トレーニング可能なフィルタベースのブロックとして TNN モジュールを設計する。
• 入力に依存する1つの利用パラメータ $u$ を用いて TNN モジュールをゲート処理することで、柔軟で低複雑性の制御を実現する。
• さまざまな $u$ のレベルで実行時ドロップアウトを適用して TNN を訓練することで、スロットリングポイントを越えてでも耐障害性を確保する。
• コントローラーを TNN アーキテクチャから分離し、ルールベースまたは学習可能（例：強化学習を用いて）の任意のポリシーが $u$ を生成できるようにする。
• バッテリー残量や環境条件などの入力文脈に基づいて最適なスロットリングレベルを選択する文脈に配慮したコントローラーを実装する。
• 強化学習やコンテキストバンドイットを用いてデータ駆動型コントローラーを訓練し、アプリケーションレベルのパフォーマンス指標に最適化された $u$ を生成する。

実験結果

リサーチクエスチョン

• RQ1 1つの学習可能なリソース利用パラメータが、多様な推論ワークロードにおいて、深層ニューラルネットワークの効果的かつ効率的な動的スロットリングを可能にするか？
• RQ2 TNN は、実世界の展開環境において、計算負荷とエネルギー消費を低減しながらも、高い精度をどのように維持するか？
• RQ3 分離された文脈に配慮したコントローラーは、固定スロットリングや単純なゲーミング戦略と比較して、どれほどパフォーマンスを向上させるか？
• RQ4 TNN は、時間的ダイナミクスを有するタスクを含め、画像および動画ベースのタスクの両方に対して効果的に適用可能か？
• RQ5 組み込みハードウェアに TNN を展開した際、実時間測定を用いて遅延およびエネルギー効率にどの程度の実用的利点が得られるか？

主な発見

• TNN は、ImageNet や CIFAR-10 において、74% の遅延低減と 52% のエネルギー節約を達成したが、すべてのスロットリングレベルで、バニラ DNN と同等のピーク精度を維持した。
• TNN フレームワークは、スロットリング度合いの増加に伴い滑らかなパフォーマンス低下を示し、高レベルのドロップアウトでも深刻な精度低下を回避した。
• 強化学習で訓練された文脈に配慮したコントローラーは、3D CNN を用いたハンドジェスチャー認識タスクにおいて、バニラアーキテクチャおよびすべての固定利用パラメータ設定を上回る性能を示した。
• 組み込み GPU 上での物理的測定により、TNN の実用性が確認され、実行時間および消費電力の顕著な低減が観測された。
• 1パラメータ制御メカニズムにより、ヒューリスティックルールや学習可能コントローラーを含む多様な制御ポリシーとのシームレスな統合が可能になった。
• TNN の設計により、VGG、ResNet、ResNeXt、DenseNet など、さまざまなアーキテクチャにわたるスロットラブルモジュールのプラグアンドプレイ展開が可能になった。