[論文レビュー] Dual Dynamic Inference: Enabling More Efficient, Adaptive and Controllable Deep Inference

Yue Wang, Jianghao Shen+6 more|arXiv (Cornell University)|Jul 10, 2019

Advanced Neural Network Applications参考文献 46被引用数 9

ひとこと要約

本稿では、入力依存型およびリソース依存型の動的推論を統合することで、効率的で適応的かつ制御可能な深層学習推論を実現する統一フレームワークであるデュアルダイナミックインフェレンス（DDI）を提案する。マルチグレインの学習によるスキップ（MGL2S）戦略を導入し、同時にレイヤー単位およびチャネル単位のスキップを実現することで、CIFAR-10およびImageNetにおいて、最先端のベースラインと同等またはそれ以上の精度で最大4倍の計算量削減を達成した。また、硬直的なリソース制約下でもいつでも予測が可能な機能を備えている。

ABSTRACT

State-of-the-art convolutional neural networks (CNNs) yield record-breaking predictive performance, yet at the cost of high-energy-consumption inference, that prohibits their widely deployments in resource-constrained Internet of Things (IoT) applications. We propose a dual dynamic inference (DDI) framework that highlights the following aspects: 1) we integrate both input-dependent and resource-dependent dynamic inference mechanisms under a unified framework in order to fit the varying IoT resource requirements in practice. DDI is able to both constantly suppress unnecessary costs for easy samples, and to halt inference for all samples to meet hard resource constraints enforced; 2) we propose a flexible multi-grained learning to skip (MGL2S) approach for input-dependent inference which allows simultaneous layer-wise and channel-wise skipping; 3) we extend DDI to complex CNN backbones such as DenseNet and show that DDI can be applied towards optimizing any specific resource goals including inference latency or energy cost. Extensive experiments demonstrate the superior inference accuracy-resource trade-off achieved by DDI, as well as the flexibility to control such trade-offs compared to existing peer methods. Specifically, DDI can achieve up to 4 times computational savings with the same or even higher accuracy as compared to existing competitive baselines.

研究の動機と目的

• 高エネルギーおよび高計算コストであるため、リソース制約のあるIoTデバイスへの高複雑度CNNの導入に課題が生じる。
• 入力に応じた動的推論（サンプルの難易度に応じて適応）とリソースに応じた動的推論（硬直的なリソース制限を満たす）を統合した単一のフレームワークを構築する。
• 従来の動的推論手法が粗い粒度のレイヤースキップのみをサポートするか、単純なネットワークアーキテクチャ（例：ResNet）に限定されているという制限を克服する。
• 同時にレイヤー単位およびチャネル単位のスキップを可能にすることで、精度と計算量のトレードオフに対する細粒度で柔軟な制御を可能にする。
• DenseNetのような複雑なCNNバックボーンへも動的推論を拡張し、汎用性と計算効率の向上を実証する。

提案手法

• 入力依存型およびリソース依存型の両方の動的推論メカニズムを統合した統一アーキテクチャとして、デュアルダイナミックインフェレンス（DDI）フレームワークを提案する。
• 同時にレイヤー単位およびチャネル単位のスキップを可能にするマルチグレインの学習によるスキップ（MGL2S）アプローチを導入し、柔軟性と精度-リソースのバランスを向上させる。
• DenseNetのような複雑なバックボーンに適した、新しいゲーミングメカニズムおよびスキップ戦略を設計し、互換性とパフォーマンスを確保する。
• 入力の難易度とリソース制約に基づいて、早期終了と効率的なスキップを促進する微分可能損失関数を用いて、DDIモデルをエンドツーエンドで訓練する。
• テスト時に推論の深さと幅を動的に調整することで、いつでも予測（anytime prediction）をサポートし、変動する計算予算にリアルタイムで適応可能にする。
• フレームワークをResNetおよびDenseNetの両方へ適用し、多様なアーキテクチャおよびデータセットで一貫した性能向上を実証する。

実験結果

リサーチクエスチョン

• RQ1 統一フレームワークが、エッジAIにおけるエネルギー効率を向上させるために、入力依存型およびリソース依存型の動的推論を効果的に統合できるか。
• RQ2 同時にレイヤーおよびチャネルのスキップを可能にするマルチグレインスキップは、従来の粗い粒度のスキップ手法と比較して、精度-計算量トレードオフをどの程度改善できるか。
• RQ3 DenseNetのような密接な接続構造と高いモデル複雑性を有する複雑なCNNアーキテクチャへ、DDIフレームワークはどの程度一般化可能で、効率的か。
• RQ4 SkipNetのような最先端の動的推論ベースラインと比較して、DDIは顕著な計算量削減を達成しながら、精度を維持または向上できるか。
• RQ5 固定遅延やエネルギー予算といった硬直的なリソース制約下でも、DDIはいつでも予測を効果的にサポートできるか。

主な発見

• CIFAR-10では、DDIが、最も優れた競合ベースライン（SkipNet）と同等またはそれ以上の精度で最大4倍の計算量削減を達成した。
• ImageNetでは、DenseNet201-DDIモデルが、同じFLOP予算下でベースラインモデルと比較して最大9%高いトップ-1精度を達成し、優れた精度-リソーストレードオフを示した。
• MGL2S手法により、細粒度の制御が可能なマルチグレインスキップが可能になり、スキップするチャネルおよびレイヤーを柔軟に選択することで、精度の低下を低減した。
• 特徴量可視化の結果、レイヤー単位のスキップと比較して、チャネル単位のスキップは最小限の特徴劣化を引き起こし、計算制約下での滑らかな精度低下を説明する根拠となった。
• DDIが学習したスキップパターンは、各ステージの最初の残差ブロックを一貫して保持しており、構造的重要な部分が学習されたことと、高い耐性を示した。
• DDIは、硬直的な計算予算下でも、複数のFLOPレベルでベースラインモデルと同等またはそれ以上の精度を維持しながら、いつでも予測を成功裏に実現した。