[論文レビュー] Learning a Wavelet-like Auto-Encoder to Accelerate Deep Neural Networks

Tianshui Chen, Lin Liang+3 more|arXiv (Cornell University)|Dec 20, 2017

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、入力画像を低周波数および高周波数のサブ画像に分解することで、効率的なディープニューラルネットワーク推論を実現するウェーブレット風オートエンコーダー（WAE）を提案する。標準の分類器（例：VGG や ResNet）に低周波数成分を入力し、高周波数成分に軽量ネットワークを適用することで、ImageNet において最大 3.13× の高速化を達成しつつ、精度の低下を最小限に抑え、画像再構成を維持し、性能向上を図るための共同学習を可能にする。

ABSTRACT

Accelerating deep neural networks (DNNs) has been attracting increasing attention as it can benefit a wide range of applications, e.g., enabling mobile systems with limited computing resources to own powerful visual recognition ability. A practical strategy to this goal usually relies on a two-stage process: operating on the trained DNNs (e.g., approximating the convolutional filters with tensor decomposition) and fine-tuning the amended network, leading to difficulty in balancing the trade-off between acceleration and maintaining recognition performance. In this work, aiming at a general and comprehensive way for neural network acceleration, we develop a Wavelet-like Auto-Encoder (WAE) that decomposes the original input image into two low-resolution channels (sub-images) and incorporate the WAE into the classification neural networks for joint training. The two decomposed channels, in particular, are encoded to carry the low-frequency information (e.g., image profiles) and high-frequency (e.g., image details or noises), respectively, and enable reconstructing the original input image through the decoding process. Then, we feed the low-frequency channel into a standard classification network such as VGG or ResNet and employ a very lightweight network to fuse with the high-frequency channel to obtain the classification result. Compared to existing DNN acceleration solutions, our framework has the following advantages: i) it is tolerant to any existing convolutional neural networks for classification without amending their structures; ii) the WAE provides an interpretable way to preserve the main components of the input image for classification.

研究の動機と目的

• リソース制約のあるデバイスにおいて、認識精度を損なわずディープニューラルネットワークの高速化を実現すること。
• 構造的変更なしに、既存の CNN アーキテクチャと互換性を持つ汎用的な高速化フレームワークの開発。
• 低周波数（コンテンツ）と高周波数（ディテール／ノイズ）成分に分離する解釈可能な分解により、画像の重要なコンテンツを保持すること。
• WAE と分類ネットワークを共同で学習させ、再構成の正確性と分類性能の両方を最適化すること。
• ImageNet を超える多様なデータセットにおけるノイズ耐性と一般化性能の評価。

提案手法

• WAE はエンコーディング層を用いて、$224 \times 224$ の入力画像を低周波数および高周波数成分を表す二つの $112 \times 112$ のサブ画像に分解する。
• デコーディング層は、二つのサブ画像から元の画像を再構成し、再構成誤差による再構成正確性を強制する。
• 高周波数チャネルにエネルギー最小化損失を適用し、エネルギーを低減させることで、軽量ネットワークによる効率的処理を可能にする。
• 低周波数サブ画像は標準の分類ネットワーク（例：VGG16 や ResNet）に、高周波数サブ画像は軽量ネットワークと統合して最終的な分類を実行する。
• WAE と分類ネットワークは、再構成誤差とエネルギー最小化を含む統合損失関数を用いて共同で学習される。
• フィルタ近似や重み量子化を回避することで、元のネットワーク構造を保持し、プラグアンドプレイでの導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレット風オートエンコーダーは、ベースネットワークの構造を変更せずに、入力画像を解釈可能な低周波数および高周波数成分に分解し、推論を高速化できるか？
• RQ2 WAE と分類ネットワークを共同で学習させることで、単独でベースネットワークを微調整するのと比較して、精度が向上するか？
• RQ3 WAE を用いた高速化手法は、ImageNet や CACD といった多様なデータセットに一般化可能であり、ノイズ環境下でも性能を維持できるか？
• RQ4 従来の高速化手法（例：テンソル分解や量子化）と比較して、本手法の高速化性能と精度はどのように異なるか？
• RQ5 高周波数成分のエネルギーを最小化することで、画像ノイズに対する耐性がどの程度向上するか？

主な発見

• ImageNet において、本手法は標準の VGG16-Net と比較して、CPU で 3.13×、GPU で 2.59× の高速化を達成し、トップ5誤差率はわずか 1.87% の上昇にとどまる。
• 共同微調整により、トップ5誤差率は 12.21% から 11.87% に低下し、エンドツーエンド最適化の有効性が示された。
• ResNet-50 では、CPU で 1.88× の高速化を達成し、トップ5誤差率はわずか 0.8% の上昇にとどまり、ThiNet よりも高速かつ高精度であった。
• CACD フェイスデータセットでは、3.13× の高速化を達成し、VGG16-Net よりも 0.22% の精度向上を示し、優れた一般化性能を示した。
• ガウスノイズ（分散 0.05）環境下でも、本手法は VGG16-Net より 10.81% の精度向上を示し、ノイズ耐性の向上を裏付けた。
• WAE フレームワークは高い再構成品質を維持し、高周波数成分に対して最小限の計算で効果的な分類が可能となった。