[論文レビュー] ECC: Energy-Constrained Deep Neural Network Compression via a Bilinear Regression Model.

Haichuan Yang, Yuhao Zhu+1 more|arXiv (Cornell University)|Dec 5, 2018

Advanced Neural Network Applications被引用数 4

ひとこと要約

ECCは、エネルギー消費を推定するための二重線形回帰モデルを用いた、エネルギー制約下でのDNN圧縮フレームワークを提案する。このフレームワークにより、厳密なエネルギー予算下で精度損失を最小限に抑える制約付き最適化が可能となる。ADMMと勾配ベース学習を組み合わせることで、多様なハードウェアプラットフォームにおいて、同等または低いエネルギー制約下で最先端の手法を上回る精度を達成する。

ABSTRACT

Many DNN-enabled vision applications constantly operate under severe energy constraints such as unmanned aerial vehicles, Augmented Reality headsets, and smartphones. Designing DNNs that can meet a stringent energy budget is becoming increasingly important. This paper proposes ECC, a framework that compresses DNNs to meet a given energy constraint while minimizing accuracy loss. The key idea of ECC is to model the DNN energy consumption via a novel bilinear regression function. The energy estimate model allows us to formulate DNN compression as a constrained optimization that minimizes the DNN loss function over the energy constraint. The optimization problem, however, has nontrivial constraints. Therefore, existing deep learning solvers do not apply directly. We propose an optimization algorithm that combines the essence of the Alternating Direction Method of Multipliers (ADMM) framework with gradient-based learning algorithms. The algorithm decomposes the original constrained optimization into several subproblems that are solved iteratively and efficiently. ECC is also portable across different hardware platforms without requiring hardware knowledge. Experiments show that ECC achieves higher accuracy under the same or lower energy budget compared to state-of-the-art resource-constrained DNN compression techniques.

研究の動機と目的

• ドローン、ARヘッドセット、スマートフォンなどのモバイルおよびエッジデバイスにおける、エネルギー効率の高いディープニューラルネットワークの増大するニーズに対応する。
• 厳密なエネルギー予算制約下でDNNを圧縮する際の精度損失を最小限に抑える。
• 詳細なハードウェア固有の知識を必要としない、ハードウェアに依存しない圧縮フレームワークを開発する。
• エネルギーをハード制約として用いる制約付き最適化問題としてDNN圧縮を定式化する。
• 各ハードウェアターゲットに対して再トレーニングを必要とせず、再利用可能でクロスプラットフォームに展開可能な圧縮モデルを実現する。

提案手法

• 層ごとのパラメータと演算の非線形な相互作用を捉える新しい二重線形回帰関数を用いて、DNNのエネルギー消費をモデル化する。
• ユーザーが定義したエネルギー予算を満たす制約付き最適化問題として、DNNの損失を最小化する圧縮タスクを定式化する。
• 非凸かつ制約付き問題を解くために、交替方向乗数法（ADMM）と勾配ベース学習を組み合わせた最適化アルゴリズムを導入する。
• 元の問題を反復的に解ける部分問題に分解することで、効率的かつ安定した収束を実現する。
• モデル重みと補助変数の交互更新を用いて、エネルギー制約を満たしつつモデルの精度を保持する。
• ハードウェア固有のエネルギー推定を避けることで、汎用的な二重線形エネルギーモデルに依存することにより、異なるハードウェアプラットフォーム間でのポータビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 二重線形回帰モデルは、多様なハードウェアプラットフォームにおいてDNNのエネルギー消費を正確に推定できるか？
• RQ2 エネルギー予算を制約とした最適化は、DNN圧縮時の精度損失をどれほど効果的に低減できるか？
• RQ3 提案されたADMMベースの最適化フレームワークは、同じエネルギー制約下で、従来の勾配ベースまたはヒューリスティックな圧縮手法を上回る性能を示すか？
• RQ4 再トレーニングやハードウェア固有のチューニングなしに、異なるハードウェアプラットフォーム間でのフレームワークのポータビリティはどの程度実現できるか？
• RQ5 同じまたは低いエネルギー消費で、最先端の技術を上回る精度を達成できるか？

主な発見

• ECCは、同じまたは低いエネルギー予算下で、最先端のリソース制約付きDNN圧縮技術を上回る精度を達成する。
• 二重線形回帰モデルは、ハードウェア固有のキャリブレーションを必要とせず、DNNエネルギー消費の効果的で汎用的な推定を可能にする。
• ADMMベースの最適化フレームワークは、エネルギー制約付き圧縮問題の非自明な制約を効果的に処理する。
• ハードウェア固有の知識や再トレーニングを必要とせず、異なるハードウェアプラットフォーム間でポータブルに動作する。
• 実験により、既存の手法と比較してエネルギー制約下でも一貫した精度の向上が確認された。
• 反復的かつ効率的な圧縮が可能であり、精度とエネルギー効率のバランスを効果的に実現できる。