[논문 리뷰] HINet: Half Instance Normalization Network for Image Restoration

Liangyu Chen, Xin Lu외 3명|arXiv (Cornell University)|2021. 05. 13.

Advanced Image Processing Techniques참고 문헌 58인용 수 26

한 줄 요약

HINet은 Half Instance Normalization 블록과 두 단계 U-Net 아키텍처를 도입하여 이미지 복원 작업의 성능을 향상시키고, MAC 감소와 더 빠른 추론으로 최신 PSNR/SSIM을 달성합니다.

ABSTRACT

In this paper, we explore the role of Instance Normalization in low-level vision tasks. Specifically, we present a novel block: Half Instance Normalization Block (HIN Block), to boost the performance of image restoration networks. Based on HIN Block, we design a simple and powerful multi-stage network named HINet, which consists of two subnetworks. With the help of HIN Block, HINet surpasses the state-of-the-art (SOTA) on various image restoration tasks. For image denoising, we exceed it 0.11dB and 0.28 dB in PSNR on SIDD dataset, with only 7.5% and 30% of its multiplier-accumulator operations (MACs), 6.8 times and 2.9 times speedup respectively. For image deblurring, we get comparable performance with 22.5% of its MACs and 3.3 times speedup on REDS and GoPro datasets. For image deraining, we exceed it by 0.3 dB in PSNR on the average result of multiple datasets with 1.4 times speedup. With HINet, we won 1st place on the NTIRE 2021 Image Deblurring Challenge - Track2. JPEG Artifacts, with a PSNR of 29.70. The code is available at https://github.com/megvii-model/HINet.

연구 동기 및 목표

• 저수준 이미지 복원 작업에서 Instance Normalization의 사용을 동기부여한다.
• 복원 성능을 높이기 위한 경량화된 정규화 기반 블록(HIN Block)을 제안한다.
• HIN Block, 교차 스테이지 특징 융합(CSFF), 감독 주의(SAM)를 활용한 HINet의 두 단계 다중 단계 네트워크를 설계한다.
• denoising, deblurring, deraining 데이터셋에서 더 낮은 계산 비용으로 우수한 정확도를 입증한다.

제안 방법

• Half Instance Normalization Block(HIN Block)을 도입하여 채널의 절반에만 Instance Normalization을 적용하고 남은 절반과 연결(concatenate)한다.
• 각 단계가 HIN Block을 인코더에 사용하고 디코더에서 Skip 연결이 있는 ResBlock으로 구성된 두 서브네트워크 다단 네트워크(HINet)를 구축한다.
• 다단계 간의 Cross-Stage Feature Fusion(CSFF)과 감독된 주의 모듈(SAM)을 도입해 다중 스케일 특징을 풍부하게 한다.
• 두 서브네트워크 모두에 대해 PSNR 기반 손실로 엔드투엔드 학습을 수행하여 복원에 대한 잔차 학습을 유도한다.

실험 결과

연구 질문

• RQ1 Half Instance Normalization이 저수준 비전 작업에서 특징 표현 및 복원 품질을 개선할 수 있는가?
• RQ2 CSFF와 SAM을 갖춘 2단계 다중 스케일 아키텍처가 단일 단계 또는 기존의 다단 네트보다 denoising, deblurring, deraining에서 성능이 우수한가?
• RQ3 채널의 절반에 IN을 적용하는(HIN) 것과 전체 정규화 또는 정규화 없이의 차이는 무엇인가?
• RQ4 표준 벤치마크에서 PSNR/SSIM 및 효율성(MACs, 런타임) 측면에서 HINet은 최첨단 방법과 어떻게 비교되는가?

주요 결과

Dataset	Method	PSNR	SSIM	MACs (G)	Time (ms)	Speedup vs MPRNet
SIDD	HINet (ours)	39.99	0.958	170.71	29.8	2.9×
SIDD	MPRNet [56]	39.71	0.958	573.50	100	1×
REDS	HINet	28.83	0.847	170.71	27.0	3.3×
REDS	MPRNet [56]	28.81	0.847	760.11	90.1	1×
GoPro	HINet	32.77	0.959	170.71	27.0	3.3×
GoPro	MPRNet [56]	32.66	0.959	760.11	90.1	1×
Rain13k (average)	HINet	33.03	0.919	170.71	27.0	1.4×
Rain13k (average)	MPRNet [56]	32.73	0.916	141.28	37.4	1×

• HINet은 denoising(SIDD) 및 deblurring(REDS, GoPro)에서 MAC를 크게 줄이고 추론 속도를 높인 상태의 예술적 또는 경쟁적 PSNR/SSIM을 달성합니다. (이전 최상(MPRNet) 대비 향상)
• SIDD denoising에서 MAC의 7.5%로 HINet은 39.82 dB PSNR에 도달하며 MPRNet은 39.71 dB로(33% 느림)
• GoPro deblurring에서 HINet은 32.77 dB PSNR로 MPRNet의 32.66 dB 대비 MAC 감소가 크고(22.5% MAC, 3.3배 가속)
• Rain deraining(Rain13k 등)에서 HINet은 MPRNet 대비 최대 0.3 dB PSNR 향상을 제공하고 평균 1.4배의 속도 향상을 보인다.
• HIN 블록은 데이터셋 전반에서 일관되게 성능을 향상시킨다(예: REDS에서 HINet Simple으로 0.12 dB PSNR 증가; GoPro에서 다른 기준으로 0.42 dB 증가).
• HINet은 NTIRE 2021 Image Deblurring Challenge Track 2(JPEG Artifacts)에서 1등을 차지했다.