[論文レビュー] Basic Binary Convolution Unit for Binarized Image Restoration Network

Bin Xia, Yulun Zhang+5 more|arXiv (Cornell University)|Oct 2, 2022

Advanced Image Processing Techniques被引用数 6

ひとこと要約

本稿では、情報損失、値の範囲の不均衡、活性化関数の配置といったバイナリゼートドニューラルネットワークにおける主な課題に対処するため、バイナリゼートド画像復元ネットワーク向けに基本バイナリ畳み込みユニット（BBCU）を提案する。体系的な分析とアブレーションを通じて、残差結合の整合性と最適化された部品配置を統合し、計算およびパラメータの効率性の向上を伴いながら、画像超解像、ノイズ除去、デブロッキングの各タスクで最先端の性能を達成した。

ABSTRACT

Lighter and faster image restoration (IR) models are crucial for the deployment on resource-limited devices. Binary neural network (BNN), one of the most promising model compression methods, can dramatically reduce the computations and parameters of full-precision convolutional neural networks (CNN). However, there are different properties between BNN and full-precision CNN, and we can hardly use the experience of designing CNN to develop BNN. In this study, we reconsider components in binary convolution, such as residual connection, BatchNorm, activation function, and structure, for IR tasks. We conduct systematic analyses to explain each component's role in binary convolution and discuss the pitfalls. Specifically, we find that residual connection can reduce the information loss caused by binarization; BatchNorm can solve the value range gap between residual connection and binary convolution; The position of the activation function dramatically affects the performance of BNN. Based on our findings and analyses, we design a simple yet efficient basic binary convolution unit (BBCU). Furthermore, we divide IR networks into four parts and specially design variants of BBCU for each part to explore the benefit of binarizing these parts. We conduct experiments on different IR tasks, and our BBCU significantly outperforms other BNNs and lightweight models, which shows that BBCU can serve as a basic unit for binarized IR networks. All codes and models will be released.

研究の動機と目的

• バイナリニューラルネットワーク（BNNs）を低レベルの画像復元（IR）タスクに適用する際のギャップを埋めること。これは、分類などの高レベルビジョンタスクとは顕著に異なる。
• バイナリゼートドIRネットワークにおける残差結合、BatchNorm、活性化関数の役割を体系的に分析し、主な落とし穴と設計原則を同定すること。
• 既存のBNNや軽量モデルがIRベンチマークで優れる、シンプルで効率的かつ汎用性の高い基本バイナリ畳み込みユニット（BBCU）を開発すること。
• ヘッド、ボディ、アップサンプリング、テイルの各ネットワーク部品におけるバイナリゼーションの利点を調査し、それぞれの部分に特化したBBCUバージョンを設計すること。

提案手法

• 残差結合をバイナリ畳み込みと統合し、出力の値の範囲を整合させるために拡大係数を用いる基本バイナリ畳み込みユニット（BBCU）を提案する。
• BBCU-V2では、BatchNormの代わりに入力画像を学習可能な係数kでスケーリングする残差整合性（RA）スキームを導入し、IR性能に悪影響を及けるBNの影響を回避する。
• BatchNormを完全に削除し、RAを用いることでBBCU-V3を設計した。標準データセット上で性能が0.17–0.29 dB向上した。
• 活性化関数を残差パス内に移動させることで、BBCU-V4を提案した。これにより、フルプレシジョンの負の値を保持でき、特徴表現が向上した。
• IRネットワークを4つの部分（ヘッド、ボディ、アップサンプリング、テイル）に分割し、各部分に最適化されたBBCUバージョンを設計することで、バイナリゼーションの利点を最大化した。
• 計算およびパラメータの削減量を定量化する指標$V_C$と$V_P$を採用し、部品単位でのバイナリゼーション意思決定を支援した。

実験結果

リサーチクエスチョン

• RQ1 残差結合、BatchNorm、活性化関数の配置は、バイナリゼートド画像復元ネットワークの性能にどのように影響するか？
• RQ2 分類タスクのBNNでは有効であるBatchNormが、なぜ画像復元タスクでは性能を低下させるのか？
• RQ3 入力の拡大による残差整合性は、バイナリゼートドIRネットワークにおいてBatchNormを置き換えることで性能と効率を向上させられるか？
• RQ4 IRネットワークのどの部品（ヘッド、ボディ、アップサンプリング、テイル）がバイナリゼーションによって最大の利点を得られるか？
• RQ5 バイナリゼートド畳み込みユニットにおいて、IRタスクの最適な活性化関数の配置と構造は何か？

主な発見

• BatchNormを削除し、残差整合性を用いるBBCU-V3は、Set5で0.17 dB、Urban100で0.16 dB、Manga109で0.29 dB、BBCU-V1を上回る性能を示した。
• 活性化関数を残差パス内に移動させたBBCU-V4は、フルプレシジョンの負の値を保持でき、BBCU-V3を上回る最高の性能を達成した。
• アップサンプリング層が最も高いバイナリゼーションの利点を示し、$V_C$は535.83×10⁻⁶、$V_P$は500.00×10⁻³の削減を達成したが、これまでの研究では無視されていた。
• ヘッドおよびテイル層のバイナリゼーションは相対的に低い利点を示し、PSNRの低下がそれぞれ28.58 dBおよび27.76 dBにとどまった。これは、これらの部分のバイナリゼーションによる性能向上が限定的であることを示している。
• 残差整合性の最適な拡大係数$k^*$は、実験的に$k^* = 130n/64$（nはチャネル数）として特定され、バイナリゼートドネットワークではこの値に非常に敏感であることがわかった。
• BBCUは、画像超解像、ノイズ除去、デブロッキングの各タスクで最先端の性能を達成し、既存のBNNおよび軽量モデルを大きく上回りながらも、高い効率性を維持した。