[論文レビュー] AdderSR: Towards Energy Efficient Image Super-Resolution

Dehua Song, Yunhe Wang+4 more|arXiv (Cornell University)|Sep 18, 2020

Advanced Image Processing Techniques参考文献 40被引用数 8

ひとこと要約

この論文は、従来の畳み込み層を加算ネットワークに置き換えることでエネルギー消費を著しく削減する、エネルギー効率の高い画像超解像フレームワークであるAdderSRを提案する。残差ショートカットと学習可能なパワー活性化関数を導入することで、加算ネットワークがアイデンティティマッピングやハイパスフィルタリングの学習に課す制限を克服し、CNNベースラインと同等のPSNR性能を達成しながら、標準ベンチマーク上でのエネルギー消費を約2.5倍低減した。

ABSTRACT

This paper studies the single image super-resolution problem using adder neural networks (AdderNet). Compared with convolutional neural networks, AdderNet utilizing additions to calculate the output features thus avoid massive energy consumptions of conventional multiplications. However, it is very hard to directly inherit the existing success of AdderNet on large-scale image classification to the image super-resolution task due to the different calculation paradigm. Specifically, the adder operation cannot easily learn the identity mapping, which is essential for image processing tasks. In addition, the functionality of high-pass filters cannot be ensured by AdderNet. To this end, we thoroughly analyze the relationship between an adder operation and the identity mapping and insert shortcuts to enhance the performance of SR models using adder networks. Then, we develop a learnable power activation for adjusting the feature distribution and refining details. Experiments conducted on several benchmark models and datasets demonstrate that, our image super-resolution models using AdderNet can achieve comparable performance and visual quality to that of their CNN baselines with an about 2$ imes$ reduction on the energy consumption.

研究の動機と目的

• モバイルデバイスにおける単一画像超解像（SISR）における深層畳み込みニューラルネットワーク（CNN）の高いエネルギー消費を軽減すること。
• 乗算ではなく加算を使用する加算ニューラルネットワーク（AdderNets）を、従来、アイデンティティマッピングとハイパスフィルタ近似の能力が低いため性能が劣るSISRタスクに適応させること。
• AdderNetsが高品質な視覚的再構成と性能を維持できるよう、アーキテクチャの変更を考案し、CNNベースラインと同等の性能を達成すること。
• 実際のモバイルアプリケーションにおいて、再構成品質を損なわずに顕著なエネルギー削減を実証すること。

提案手法

• アイデンティティマッピングの学習を支援するため、自己ショートカット（残差ショートカット）を導入し、画像修復タスクにおいて不可欠な役割を果たす。
• 特徴量の分布を最適化し、詳細回復を向上させることでハイパスフィルタリングの挙動を改善する、学習可能なパワー活性化関数を提案する。
• EDSRやCARNなどのSISRモデルにおけるすべての畳み込み層を、元のネットワークアーキテクチャを保持したまま加算フィルタに置き換える。
• 重みと活性化に32ビット浮動小数点精度を用い、エネルギーコストを1回の加算で0.9 pJ、1回の乗算で3.7 pJとしてモデル化する。
• 加算ネットワークと併用して、フィルタのプルーニングと重み/活性化の量子化（例：int8）を適用し、さらにエネルギー消費を削減する。
• PSNRと視覚的品質指標を用いて、標準SISRベンチマーク（例：Urban100、DIV80）上でAdderSRモデルを学習および評価する。

実験結果

リサーチクエスチョン

• RQ1 加算ネットワークは、性能を劣化させることなく、画像超解像における畳み込み層に置き換え可能か？
• RQ2 標準的なAdderNetsがSISRにおいてなぜアイデンティティマッピングとハイパスフィルタリングを学習できないのか、その理由とその制限を克服する方法は何か？
• RQ3 乗算を加算に置き換えることで、SISRモデルにおけるエネルギー消費をどの程度削減できるか？
• RQ4 提案された修正（ショートカットと学習可能な活性化）により、AdderNetsがCNNベースSISRモデルと同等のPSNRと視覚的品質を達成できるか？
• RQ5 モバイルプラットフォーム上でのAdderSRのエネルギー-パフォーマンストレードオフは、最先端のSISRモデルと比較してどの程度か？

主な発見

• AdderSRは、Urban100データセットにおける×2、×3、×4超解像タスクで、CNNの対応モデルと0.2 dB以内のPSNRを達成した。
• 1280×720の画像処理において、同等のCNNベースSISRモデルと比較して、AdderSRはエネルギー消費を約2.5倍低減した。
• int8量子化を適用した場合、エネルギー削減は約3.8倍にまで増加し、性能は同等を維持した。
• A-CARN（AdderNetベースのCARN）は、Urban100で31.74 dBのPSNRを達成し、類似したエネルギーコスト（404G pJ）のプルーニング済みCARN-2/3（31.35 dB）を上回った。
• 1280×720の画像処理におけるエネルギーコストは、EDSR-CNNの42.5T pJからEDSR-ANNの16.7T pJにまで低下し、2.5倍の削減が達成された。
• 視覚的品質の評価から、AdderSRの出力はCNNベースラインと視認では区別がつかず、詳細回復が向上し、ぼやけが軽減された。