[論文レビュー] Energy-Constrained Compression for Deep Neural Networks via Weighted Sparse Projection and Layer Input Masking

Haichuan Yang, Yuhao Zhu+1 more|arXiv (Cornell University)|Jun 12, 2018

Advanced Neural Network Applications被引用数 26

ひとこと要約

本論文は、重みのスパarsityと入力のスパarsityを関数としてモデル化する定量的エネルギー推定モデルを、重みのスパースプロキシオンと可 trainable 入力マスクと統合することにより、ユーザーが指定した予算内にエネルギー消費を保証する、最初のエンドツーエンドの深層ニューラルネットワーク（DNN）学習フレームワークを提案する。DNN学習を制約付き最適化問題として定式化することで、従来のプリンティングや量子化といった間接的手法と比較して、厳密なエネルギー制限下でも高い精度を達成できる。

ABSTRACT

Deep Neural Networks (DNNs) are increasingly deployed in highly energy-constrained environments such as autonomous drones and wearable devices while at the same time must operate in real-time. Therefore, reducing the energy consumption has become a major design consideration in DNN training. This paper proposes the first end-to-end DNN training framework that provides quantitative energy consumption guarantees via weighted sparse projection and input masking. The key idea is to formulate the DNN training as an optimization problem in which the energy budget imposes a previously unconsidered optimization constraint. We integrate the quantitative DNN energy estimation into the DNN training process to assist the constrained optimization. We prove that an approximate algorithm can be used to efficiently solve the optimization problem. Compared to the best prior energy-saving methods, our framework trains DNNs that provide higher accuracies under same or lower energy budgets. Code is publicly available.

研究の動機と目的

• 従来のDNN圧縮技術には定量的なエネルギー保証がなく、主にプリンティングや量子化といった間接的手法に依存しているという問題に対処する。
• エネルギー消費をユーザーが定義した予算で明示的に制約する制約付き最適化問題としてDNN学習を定式化する。
• トレーニング中に入力スパarsityを直接制御できる可トレーニングバイナリ入力マスクを導入し、入力データアクセスエネルギーの削減機会を拡大する。
• 損失関数に知識蒸留を正則化項として統合することで、学習収束性と一般化性能を向上させる。
• エネルギー制約付き最適化問題を効率的に解くアルゴリズム、特にエネルギー制約へのプロジェクションステップを開発する。

提案手法

• TPUに類似したシステリックアレイハードウェアにおけるDNN推論の定量的エネルギー推定モデルを提案し、エネルギーを層の重みスパarsityと入力スパarsityの関数としてモデル化する。
• トレーニング中に入力スパarsityを制御できる可トレーニングバイナリ入力マスク $ M $ を導入し、入力データアクセスエネルギーの制御を可能にする。
• 学習の目的関数を、推定された推論エネルギー $ E(M, W) \leq E_{\text{budget}} $ の制約のもとで、精度損失を最小化することとして定式化する。
• 知識蒸留を損失関数の正則化に用いる：$ \bar{\mathcal{L}}_{\lambda,W_{\text{dense}}}(M,W) = (1-\lambda)\mathcal{L}(M,W) + \lambda \mathbb{E}_{X}[\|\phi(X;W) - \phi(X;W_{\text{dense}})\|^{2}/|\phi(\cdot;W)|] $。
• エネルギー制約付きプロジェクションステップを0/1ナップサック問題としてモデル化し、実時間最適化を可能にするために効率的に解けることを証明する。
• エネルギー推定と制約付き最適化をエンドツーエンドのトレーニングパイプラインに統合し、ヒューリスティックなファインチューニングやレイヤーワイズ再トレーニングを回避する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが指定した予算内にエネルギー消費を保証するDNN学習フレームワークを設計できるか？
• RQ2 標準的なフレームワークでは入力がトレーニング不可能であるにもかかわらず、DNN学習中に入力スパarsityを効果的に制御することでエネルギー消費を低減できるか？
• RQ3 知識蒸留を統合することで、エネルギー制約付きDNN学習における収束性と精度にどのような影響を与えるか？
• RQ4 エネルギー制約付きプロジェクションステップは効率的に解けるのか？また、大規模DNNにスケーラブルか？
• RQ5 本手法は、間接的圧縮技術に依存する最先端のエネルギー節約手法と比較して、精度とエネルギー効率の両面で優れているか？

主な発見

• 提案されたフレームワークは、ユーザーが定義した予算内に推論エネルギーが収まるという定量的エネルギー保証を提供するエンドツーエンド学習を初めて実現した。
• 可トレーニング入力マスクを導入することで、入力スパarsityの制御が可能となり、重みスパarsityのみに依存する場合と比較して、エネルギー削減の機会が顕著に拡大する。
• 知識蒸留の統合により、学習収束性が向上し、過学習が軽減され、スパースモデルにおける一般化性能が向上する。
• エネルギー制約付きプロジェクションステップは0/1ナップサック問題として定式化され、効率的に解けるため、実世界のDNN学習への実装が可能である。
• 評価結果から、本フレームワークは、同じまたはそれ以下のエネルギー予算下で、最先端のエネルギー節約手法よりも高いモデル精度を達成しており、優れたエネルギー-精度トレードオフを示している。