[논문 리뷰] Mixed Hierarchy Network for Image Restoration

Hu Gao, Depeng Dang|arXiv (Cornell University)|2023. 02. 19.

Advanced Image Processing Techniques인용 수 7

한 줄 요약

MHNet은 적응형 특징 융합과 선택적 다중 헤드 어텐션으로 맥락 정보와 공간적 세부 정보를 균형 있게 조합하는 혼합 계층 구조 프레임워크를 제시하며, 제거 및 흐림 제거에서 더 적은 계산으로 최첨단 성능을 제공합니다.

ABSTRACT

Image restoration is a long-standing low-level vision problem, e.g., deblurring and deraining. In the process of image restoration, it is necessary to consider not only the spatial details and contextual information of restoration to ensure the quality, but also the system complexity. Although many methods have been able to guarantee the quality of image restoration, the system complexity of the state-of-the-art (SOTA) methods is increasing as well. Motivated by this, we present a mixed hierarchy network that can balance these competing goals. Our main proposal is a mixed hierarchy architecture, that progressively recovers contextual information and spatial details from degraded images while we design intra-blocks to reduce system complexity. Specifically, our model first learns the contextual information using encoder-decoder architectures, and then combines them with high-resolution branches that preserve spatial detail. In order to reduce the system complexity of this architecture for convenient analysis and comparison, we replace or remove the nonlinear activation function with multiplication and use a simple network structure. In addition, we replace spatial convolution with global self-attention for the middle block of encoder-decoder. The resulting tightly interlinked hierarchy architecture, named as MHNet, delivers strong performance gains on several image restoration tasks, including image deraining, and deblurring.

연구 동기 및 목표

• 이미지 복원에서 복원 품질과 시스템 복잡성의 균형을 유도한다.
• 맥락 중심의 인코더-디코더와 전 해상도 세부 정보 보존을 결합한 혼합 계층 구조를 제안한다.
• 교차 계층 간 정보 교환을 위한 적응형 특징 융합(AFFM)을 도입한다.
• 선형 시간 복잡도로 개발된 선택적 다중 헤드 어텐션 메커니즘(SMAM)을 도입한다.
• 계산 부하를 줄이기 위해 비선형 활성화 없는 기반 블록(NAFBlock)을 사용한다.

제안 방법

• 맥락을 위한 인코더-디코더 서브네트워크와 공간적 세부 정보를 위한 전 해상도 서브네트워크를 갖는 2-계층 아키텍처를 사용한다.
• 서로 다른 계층의 특징을 융합하기 위해 셀프 어텐션 기반 메커니즘을 도입하여 AFFM을 도입한다.
• SMAM을 인코더-디코더의 중간 블록으로 설계하여 선형 복잡도로 중요한 어텐션 점수를 보존한다.
• 비선형 활성화를 곱셈으로 대체/제거하여 비선형 활성화 없는 블록(NAFBlock)을 통해 모델 복잡도를 감소시킨다.
• 훈련에 PSNR 기반 손실을 적용하고 deraining과 deblurring 작업에 표준 데이터 증강을 사용한다.

실험 결과

연구 질문

• RQ1 混合 계층 아키텍처가 다중 스케일 맥락 정보와 미세한 공간 세부 정보를 감소된 계산 비용으로 함께 포착할 수 있는가?
• RQ2 AFFM과 SMAM 구성요소가 교차 계층 정보 교환과 주의(attention)를 효과적으로 가능하게 하는가?
• RQ3 MHNet이 MACs와 매개변수가 더 낮은 상태에서 이미지 deraining 및 deblurring에서 최첨단 성능을 달성할 수 있는가?
• RQ4 비선형 활성화를 활성화 없는 블록으로 대체했을 때 복원 정확도와 효율성에 어떤 영향이 있는가?

주요 결과

• MHNet은 이미지 deraining 및 deblurring 벤치마크에서 여러 SOTA 방법보다 우수한 성능을 보인다.
• baseline NAFNet과 비교하여 MHNet은 deraining 데이터셋에서 평균적으로 PSNR을 약 1.23 dB 향상시킨다.
• MHNet은 Restormer 및 DRSformer에 비해 계산 비용이 크게 낮으면서도 경쟁력 있는 결과를 달성한다(MACs가 일부 경쟁자보다 약 40배 더 작음).
• AFFM은 단순 융합에 비해 측정 가능한 이점을 제공하며, 제거된 ablative 분석에서 PSNR이 +0.12–0.18 dB 향상으로 나타난다.
• SMAM은 어텐션 계산을 제곱에서 선형 복잡도로 감소시키면서 PSNR/SSIM을 유지하거나 개선한다.
• MHNet은 일반화에 강한 모습을 보이며 GoPro와 HIDE deblurring 벤치마크에서 GoPro로만 학습했을 때도 최첨단 PSNR을 달성한다.