[論文レビュー] End-to-End Learning of Energy-Constrained Deep Neural Networks.

Haichuan Yang, Yuhao Zhu+1 more|arXiv (Cornell University)|Jun 12, 2018

Advanced Neural Network Applications被引用数 12

ひとこと要約

本論文は、定量的なエネルギー予算保証を伴うエネルギー制約付きディープニューラルネットワーク（DNN）のエンド・ツー・エンドフレームワークを初めて提示する。重み付きスパースプロジェクションと入力マスキングを制約付き最適化プロセスに統合することで、従来手法よりも厳しいエネルギー制限下でも高い精度を達成するDNNの訓練が可能となり、公開コードを提供している。

ABSTRACT

Deep Neural Networks (DNNs) are increasingly deployed in highly energy-constrained environments such as autonomous drones and wearable devices while at the same time must operate in real-time. Therefore, reducing the energy consumption has become a major design consideration in DNN training. This paper proposes the first end-to-end DNN training framework that provides quantitative energy consumption guarantees via weighted sparse projection and input masking. The key idea is to formulate the DNN training as an optimization problem in which the energy budget imposes a previously unconsidered optimization constraint. We integrate the quantitative DNN energy estimation into the DNN training process to assist the constrained optimization. We prove that an approximate algorithm can be used to efficiently solve the optimization problem. Compared to the best prior energy-saving methods, our framework trains DNNs that provide higher accuracies under same or lower energy budgets. Code is publicly available.

研究の動機と目的

• ドローンやウェアラブルデバイスのようなリアルタイムでエネルギー制約のある環境におけるエネルギー効率の良いDNNの増大するニーズに対応する。
• DNNの訓練を、ハードなエネルギー予算制約を持つ最適化問題として定式化する。
• エネルギー消費の定量的推定を訓練プロセスに直接統合し、正確なエネルギー制御を実現する。
• 制約付き最適化問題を効率的に解く近似アルゴリズムを開発する。

提案手法

• エネルギー予算をハードな制約として持つDNN訓練を、制約付き最適化問題として定式化する。
• 活性化のスパarsityを制御し、推論時のエネルギー消費を削減するための重み付きスパースプロジェクションを導入する。
• 計算の前に不要な入力特徴量をマスキングすることでエネルギー消費を低減する。
• 訓練パイプラインに微分可能なエネルギー推定モジュールを統合し、最適化を支援する。
• 理論的収束保証を持つ近似アルゴリズムを用いて、制約付き最適化問題を効率的に解く。
• 精度とエネルギー消費の両方を予算制約下で共同最適化するエンド・ツー・エンドDNN訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 DNNの訓練を、ハードなエネルギー予算制約を持つ制約付き最適化問題として定式化できるか？
• RQ2 エネルギー消費を正確に推定し、DNN訓練プロセスに統合できるか？
• RQ3 重み付きスパースプロジェクションと入力マスキングは、モデルの精度を保持したままエネルギー消費を効果的に削減できるか？
• RQ4 スケールに応じたエネルギー制約付きDNN訓練問題を効率的に解くアルゴリズムは存在するか？
• RQ5 提案フレームワークは、従来のエネルギー節約手法と比較して、精度とエネルギー効率の両面で優れているか？

主な発見

• 提案フレームワークは、同じまたはそれ以下のエネルギー予算下で、最先端のエネルギー節約手法よりも高いモデル精度を達成した。
• 訓練にエネルギー推定を統合することで、定量的保証付きのエネルギー消費の正確な制御が可能になった。
• 重み付きスパースプロジェクションと入力マスキングの使用により、顕著な精度損失を伴わず計算エネルギーを効果的に削減できた。
• 近似アルゴリズムにより、制約付き最適化問題に対する効率的な解決策が得られ、エンド・ツー・エンド訓練が可能になった。
• 本フレームワークは、明示的なエネルギー予算制約と測定可能なエネルギー削減を提供する最初のエンド・ツー・エンド訓練フレームワークである。
• 公開済みのコードにより、再現性が確保され、エネルギー制約付きディープラーニング分野におけるさらなる研究が可能になった。