[논문 리뷰] Learning Enriched Features for Real Image Restoration and Enhancement

Syed Waqas Zamir, Aditya Arora외 5명|arXiv (Cornell University)|2020. 03. 15.

Advanced Image Processing Techniques참고 문헌 121인용 수 67

한 줄 요약

MIRNet은 다중 스케일 맥락 정보를 선택적 커널 특징 융합과 이중 주의(attention)을 통해 고해상도 공간 디테일을 보존하면서 denoising, super-resolution, 이미지 향상에서 다섯 개의 실제 이미지 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

With the goal of recovering high-quality image content from its degraded version, image restoration enjoys numerous applications, such as in surveillance, computational photography, medical imaging, and remote sensing. Recently, convolutional neural networks (CNNs) have achieved dramatic improvements over conventional approaches for image restoration task. Existing CNN-based methods typically operate either on full-resolution or on progressively low-resolution representations. In the former case, spatially precise but contextually less robust results are achieved, while in the latter case, semantically reliable but spatially less accurate outputs are generated. In this paper, we present a novel architecture with the collective goals of maintaining spatially-precise high-resolution representations through the entire network and receiving strong contextual information from the low-resolution representations. The core of our approach is a multi-scale residual block containing several key elements: (a) parallel multi-resolution convolution streams for extracting multi-scale features, (b) information exchange across the multi-resolution streams, (c) spatial and channel attention mechanisms for capturing contextual information, and (d) attention based multi-scale feature aggregation. In a nutshell, our approach learns an enriched set of features that combines contextual information from multiple scales, while simultaneously preserving the high-resolution spatial details. Extensive experiments on five real image benchmark datasets demonstrate that our method, named as MIRNet, achieves state-of-the-art results for a variety of image processing tasks, including image denoising, super-resolution, and image enhancement. The source code and pre-trained models are available at https://github.com/swz30/MIRNet.

연구 동기 및 목표

• 네트워크 전반에 걸쳐 고해상도 공간 디테일을 보존하는 동시에 여러 스케일로부터 풍부한 맥락 정보를 통합합니다.
• 세밀한 디테일과 글로벌 컨텍스트를 함께 활용하는 다중 스케일 특징 추출 및 융합 메커니즘을 개발합니다.
• 효율적인 파라미터 사용으로 다해상도 특징의 동적 주의 기반 집계를 가능하게 합니다.
• 병렬 해상도 스트림 간의 효과적인 정보 교환을 촉진하여 복원 품질을 향상시킵니다.
• 다양한 실제 데이터셋 및 작업에서 강건성과 일반화를 보여줍니다.

제안 방법

• 다른 해상도에서 작동하는 세 개의 평행 스트림으로 구성된 다중 스케일 잔차 블록(MRB)을 도입하여 세밀한 디테일과 맥락 정보를 모두 포착합니다.
• Self-attention과 융합-선택(fuse-and-select) 메커니즘을 사용하여 다해상도 특징을 동적으로 융합하는 선택적 커널 특징 융합(SKFF)을 제안합니다.
• 각 스트림 내에서 특징을 재보정하기 위해 채널 및 공간 주의를 적용하는 이중 주의 단위(DAU)를 포함합니다.
• 잔차 학습 동작과 시프트 등가성을 보존하면서 2x 및 4x 다운샘플링/업샘플링을 수행하는 잔차 리사이징 모듈을 사용합니다.
• MRB를 쌓는 재귀적 잔차 그룹(RRG) 아키텍처를 채택하고, 최종 잔차 예측 및 학습을 위한 Charbonnier 손실을 사용합니다.
• MIRNet을 denoising, SR, 및 향상 작업에 걸친 다섯 개의 실이미지 데이터셋에서 엔드투엔드 학습으로 학습 및 평가합니다(서브모듈 사전 학습 없음).

실험 결과

연구 질문

• RQ1 저해상도 맥락을 활용하면서도 복원 네트워크 전반에서 고해상도 표현을 어떻게 유지할 수 있을까요?
• RQ2 다중 스케일 간 교차 스트림 정보 교환이 공간 정밀도를 손상시키지 않으면서 복원 품질을 향상시킬 수 있을까요?
• RQ3 선택적 커널 융합과 이중 주의가 교차 스케일 특징 융합과 전반적인 복원 성능을 향상시킬까요?
• RQ4 제안된 아키텍처가 다양한 실제 데이터셋과 작업(denoising, SR, enhancement)에서 얼마나 잘 일반화됩니까?
• RQ5 아키텍처 구성요소(MRB, SKFF, DAU, 잔차 리사이징)가 복원 결과에 미치는 영향은 무엇입니까?

주요 결과

• 제안된 MIRNet은 denoising, super-resolution, 및 enhancement를 위한 다섯 개의 실이미지 벤치마크 데이터셋에서 최첨단 결과를 달성합니다.
• SKFF는 간단한 연결보다 적은 파라미터로 효과적인 크로스-스케일 특징 융합을 제공하고 성능을 향상시킵니다.
• DAU는 스트림 내에서 채널 및 공간 주의를 적용하여 특징 표현을 향상시킵니다.
• 잔차 리사이징이 포함된 재귀 잔차 설계는 고해상도 디테일을 보존하고 안정적인 학습을 유지하면서 심층 네트워크를 가능하게 합니다.
• 소거 연구는 스킵 연결, SKFF, DAU 및 스트림/컬럼의 수가 성능 향상에 중요하다는 것을 확인합니다.
• 다양한 카메라 및 데이터셋 간 평가에서 실제 데이터에 대한 강건한 일반화가 입증됩니다.