[論文レビュー] HINet: Half Instance Normalization Network for Image Restoration

Liangyu Chen, Xin Lu+3 more|arXiv (Cornell University)|May 13, 2021

Advanced Image Processing Techniques参考文献 58被引用数 26

ひとこと要約

HINetはHalf Instance Normalizationブロックと2段階U-Netアーキテクチャを導入し、MACsを削減しながら推論を速くして、PSNR/SSIMで最先端を達成する画像復元タスクを改善します。

ABSTRACT

In this paper, we explore the role of Instance Normalization in low-level vision tasks. Specifically, we present a novel block: Half Instance Normalization Block (HIN Block), to boost the performance of image restoration networks. Based on HIN Block, we design a simple and powerful multi-stage network named HINet, which consists of two subnetworks. With the help of HIN Block, HINet surpasses the state-of-the-art (SOTA) on various image restoration tasks. For image denoising, we exceed it 0.11dB and 0.28 dB in PSNR on SIDD dataset, with only 7.5% and 30% of its multiplier-accumulator operations (MACs), 6.8 times and 2.9 times speedup respectively. For image deblurring, we get comparable performance with 22.5% of its MACs and 3.3 times speedup on REDS and GoPro datasets. For image deraining, we exceed it by 0.3 dB in PSNR on the average result of multiple datasets with 1.4 times speedup. With HINet, we won 1st place on the NTIRE 2021 Image Deblurring Challenge - Track2. JPEG Artifacts, with a PSNR of 29.70. The code is available at https://github.com/megvii-model/HINet.

研究の動機と目的

• 低レベルの画像復元タスクにおけるInstance Normalizationの利用を動機づける。
• 復元性能を高める軽量な正規化ベースブロック（HIN Block）を提案する。
• HIN Block、Cross-Stage Feature Fusion、監視付きアテンションを活用した2段階のマルチステージネットワーク（HINet）を設計する。
• ノイズ除去、ブラー除去、雨除去データセット全体で、計算コストを抑えつつ高精度を示す。

提案手法

• Half Instance Normalization Block (HIN Block) を導入し、半分のチャネルにInstance Normalizationを適用し、残りの半分と結合する。
• 各段階がエンコーダにHIN Blockを用いたU-Net、デコーダにはSkip接続を持つResBlockを用いる、2つのサブネットワークからなるマルチステージアーキテクチャ（HINet）を構築する。
• 段階間でCross-Stage Feature Fusion (CSFF)とSupervised Attention Module (SAM)を組み込み、多層の特徴を豊かにする。
• 両方のサブネットワークにまたがるPSNRベースの損失でエンドツーエンド訓練し、復元の残差学習を促進する。

実験結果

リサーチクエスチョン

• RQ1 Half Instance Normalizationは、低レベルの視覚タスクにおいて特徴表現と復元品質を改善できるか？
• RQ2 CSFFとSAMを備えた2段階のマルチスケールアーキテクチャは、ノイズ除去、ブラー除去、雨除去において、単一段階や従来のマルチステージネットより優れているか？
• RQ3 チャネルの半分にのみINを適用した（HIN）場合と、全チャネルに正規化を適用した場合、あるいは正規化を行わない場合の影響はどうなるか？
• RQ4 標準ベンチマークにおいて、PSNR/SSIMと効率性（MACs、実行時間）でHINetは最先端手法とどう比較されるか？

主な発見

Dataset	Method	PSNR	SSIM	MACs (G)	Time (ms)	Speedup vs MPRNet
SIDD	HINet (ours)	39.99	0.958	170.71	29.8	2.9×
SIDD	MPRNet [56]	39.71	0.958	573.50	100	1×
REDS	HINet	28.83	0.847	170.71	27.0	3.3×
REDS	MPRNet [56]	28.81	0.847	760.11	90.1	1×
GoPro	HINet	32.77	0.959	170.71	27.0	3.3×
GoPro	MPRNet [56]	32.66	0.959	760.11	90.1	1×
Rain13k (average)	HINet	33.03	0.919	170.71	27.0	1.4×
Rain13k (average)	MPRNet [56]	32.73	0.916	141.28	37.4	1×

• HINetはノイズ除去（SIDD）とブラー除去（REDS, GoPro）で最先端または競争力のPSNR/SSIMを達成し、前例のベスト（MPRNet）と比較してMACsを大幅に削減し推論を高速化。
• SIDDノイズ除去では、MACsの7.5%を用いたHINetが39.82 dB PSNR、MPRNetは39.71 dB（33%遅い）。
• GoProブラー除去では、HINetは32.77 dB、MPRNetは32.66 dB、MACsを大きく削減（22.5%のMACs、3.3倍のスピードアップ）。
• Rain13k関連の雨除去では、平均でMPRNetより最大0.3 dB PSNR改善、平均1.4×のスピードアップ。
• HINブロックはデータセット全体で一貫して性能を向上（例: REDSでHINet Simpleで0.12 dB、GoProで別のベースラインで0.42 dBの利得）。
• NTIRE 2021 Image Deblurring Challenge Track 2 (JPEG Artifacts)で1位を獲得。