[論文レビュー] Energy Efficient Hadamard Neural Networks

Tuba Ceren Deveci, Serdar Çakır+1 more|arXiv (Cornell University)|May 14, 2018

Face and Expression Recognition参考文献 18被引用数 16

ひとこと要約

本稿では、バイナリ重みネットワーク（BWN）とハダマード変換画像ネットワーク（HIN）を組み合わせた、エネルギー効率の高いディープラーニングフレームワークであるバイナリ重みおよびハダマード変換画像ネットワーク（BWHIN）を提案する。畳み込み層の重みをバイナリ化し、入力画像に高速ウォルシュ＝ハダマード変換（FWHT）を適用することで、両者とも加算／減算のみに依存する。これにより、高コストな乗算を排除し、分類精度のわずかな低下を伴いながらも、特にMNISTおよびCIFAR-10データセットにおいて顕著なエネルギー削減を達成する。

ABSTRACT

Deep learning has made significant improvements at many image processing tasks in recent years, such as image classification, object recognition and object detection. Convolutional neural networks (CNN), which is a popular deep learning architecture designed to process data in multiple array form, show great success to almost all detection \& recognition problems and computer vision tasks. However, the number of parameters in a CNN is too high such that the computers require more energy and larger memory size. In order to solve this problem, we propose a novel energy efficient model Binary Weight and Hadamard-transformed Image Network (BWHIN), which is a combination of Binary Weight Network (BWN) and Hadamard-transformed Image Network (HIN). It is observed that energy efficiency is achieved with a slight sacrifice at classification accuracy. Among all energy efficient networks, our novel ensemble model outperforms other energy efficient models.

研究の動機と目的

• モバイルおよび埋め込みシステムにおける標準的な畳み込みニューラルネットワーク（CNN）の高いエネルギー消費とメモリ使用量を低減すること。
• 重みおよび入力データの両方において、浮動小数点乗算を加算／減算演算に置き換えることで、計算コストを削減すること。
• バイナリ重みネットワーク（BWN）とハダマード変換画像ネットワーク（HIN）を統合した、新たなハイブリッドアーキテクチャを考案し、エネルギー効率と耐障害性を向上させること。
• 標準ベンチマーク（MNISTおよびCIFAR-10）上で提案モデルを評価し、エネルギー効率と分類精度のトレードオフを評価すること。
• ネットワークアーキテクチャ（例：プーリング対ストライド付き畳み込み）および平均化戦略が、エネルギー制限環境下での性能に与える影響を調査すること。

提案手法

• 畳み込み層のフィルタをバイナリ値（+1 または -1）に近似するバイナリ重みネットワーク（BWN）を採用し、加算／減算のみで畳み込み演算を実現する。
• 入力画像に高速ウォルシュ＝ハダマード変換（FWHT）を適用し、FWHTが加算および減算のみに依存することを活用する。
• BWNとHINを統合した統合モデル「BWHIN」として統合し、出力を2種類の平均化手法（通常平均化およびランダム平均化）を用いて統合する。
• エネルギー効率と精度のトレードオフを比較するため、2種類のCNNアーキテクチャを評価対象とする：ConvoPool-CNN（マックスプーリング層を有する）およびAll-CNN（プーリングの代わりにストライド付き畳み込みを用いる）。
• BWHINの2つのバージョンを実装する：BWHIN-NormalAvgとBWHIN-RandomAvg。後者はランダム平均化を用いることで耐障害性と性能を向上させる。
• MNISTおよびCIFAR-10でモデルを学習および微調整し、学習率やネットワークの深さといったハイパーパramータの分類精度への影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 バイナリ重みとハダマード変換された入力の組み合わせにより、分類精度を損なわずにCNN推論におけるエネルギー消費を顕著に削減できるか？
• RQ2 BWHINというハイブリッドモデルの性能は、個々の構成要素（BWNおよびHIN）と比較して、精度およびエネルギー効率の面で優れているか？
• RQ3 特にプーリングベースとストライド付き畳み込みベースのアーキテクチャの違いが、エネルギー効率の高いネットワークにおけるエネルギー-精度トレードオフに与える影響は何か？
• RQ4 BWHIN出力のランダム平均化は、通常平均化および個々のサブネットワークを常に上回る耐障害性と精度を達成するか？
• RQ5 ネットワーク容量（深さまたは幅）を増加させることで、CIFAR-10のようなより複雑なデータセットにおいて、BWHINと最先端モデルとの精度格差をどれほど埋め合わせられるか？

主な発見

• ランダム平均化を用いたBWHINモデル（BWHIN-RandomAvg）は、MNISTデータセットで98.96％のテスト精度を達成し、BWNおよびHINの個別モデルを上回った。
• CIFAR-10では、BWHIN-RandomAvgが72.65％のテスト精度を達成し、HIN（67.30％）およびBWN（67.70％）と比較して顕著な改善を示した。
• ストライド付き畳み込みを用いたAll-CNNアーキテクチャは、プーリング層を有するConvoPool-CNNよりもエネルギー効率が高く、計算の無駄が少なかった。
• エネルギー節約が見られたものの、提案モデルはフル精度ネットワークと比較してわずかな精度低下にとどまり、BWHINはMNISTでほぼ最先端の性能を達成した。
• BWHINアンサンブルモデルは耐障害性を示した：たとえばHINが正しく学習できない場合でも、BWNが補完し、全体の精度を維持した。
• ハイパーパramータチューニングの結果、BWNは変化に対して非常に頑健であったが、HINの性能は、サイズが2の累乗でない場合のハダマード変換による画像サイズの拡大によりわずかに低下した。