[논문 리뷰] Compound Multi-branch Feature Fusion for Real Image Restoration

Chi-Mao Fan, Tsung-Jung Liu외 1명|arXiv (Cornell University)|2022. 06. 02.

Advanced Image Fusion Techniques인용 수 9

한 줄 요약

이 논문은 인간 시각 시스템의 시신경 세포를 영감으로 삼아 복합 다중지점 특징 융합 네트워크인 CMFNet을 제안한다. 이는 단일 통합 프레임워크 내에서 이미지 흐림제거, 안개제거, 비제거를 동시에 처리하기 위한 것이다. 별도의 주의 브랜치, 학습 가능한 혼합 스케입 연결(MSC), 그리고 PSNR와 SSIM을 결합한 새로운 PS 손실 함수를 통해 CMFNet은 다양한 데이터셋에서 최신 기준인 SSIM 성능을 달성하며, 다양한 오염 유형에 걸쳐 강력한 일반화 능력과 시각적으로 충실한 복원 성능을 입증한다.

ABSTRACT

Image restoration is a challenging and ill-posed problem which also has been a long-standing issue. However, most of learning based restoration methods are proposed to target one degradation type which means they are lack of generalization. In this paper, we proposed a multi-branch restoration model inspired from the Human Visual System (i.e., Retinal Ganglion Cells) which can achieve multiple restoration tasks in a general framework. The experiments show that the proposed multi-branch architecture, called CMFNet, has competitive performance results on four datasets, including image dehazing, deraindrop, and deblurring, which are very common applications for autonomous cars. The source code and pretrained models of three restoration tasks are available at https://github.com/FanChiMao/CMFNet.

연구 동기 및 목표

• 단일 오염 유형에만 초점을 맞춘 기존의 학습 기반 이미지 복원 모델에서의 일반화 부족 문제를 해결하기 위해.
• 동시에 여러 일반적인 이미지 오염 유형—흐림제거, 안개제거, 비제거—를 처리할 수 있는 통합 프레임워크를 개발하기 위해.
• PSNR와 SSIM 지표를 융합한 새로운 손실 함수를 도입하여 복원 이미지의 시각적 품질을 향상시키기 위해.
• 표준 잔여 경로보다 우수한 성능을 보이는 학습 가능한 혼합 스케입 연결(MSC)을 통해 특징 융합과 잔여 학습을 향상시키기 위해.

제안 방법

• CMFNet은 시신경 세포의 병렬 경로를 영감으로 삼은 다중지점 아키텍처를 사용하며, 각 브랜치는 채널, 공간, 픽셀 주의 메커니즘을 적용한다.
• 각 브랜치는 사전 학습된 주의 블록을 사용하여 독립적으로 특징을 처리함으로써 RGC의 功能 특화를 시뮬레이션하고, 다양한 오염 유형에 적합한 특징 학습을 선택적으로 가능하게 한다.
• 출력 이미지에 직접적인 지도 학습 없이도 네트워크 학습의 유연성을 유지할 수 있도록 새로운 감독 주의 모듈(SAM)을 통합한다.
• 표준 잔여 연결 대신 학습 가능한 혼합 스케입 연결(MSC)을 도입하여 가중 가능한 상수 파rameter를 통해 다중지점 특징을 동적으로 융합한다.
• 사람의 시각 인지에 더 부합하고 구조적 정밀도를 향상시키기 위해 PSNR와 SSIM을 결합한 새로운 손실 함수인 PS 손실을 제안한다.
• 제안된 PS 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련하며, 구성 요소의 유효성을 검증하기 위해 분석 실험을 실시한다.

실험 결과

연구 질문

• RQ1 통합 딥 러닝 프레임워크가 동시에 여러 이미지 복원 작업—흐림제거, 안개제거, 비제거—를 효과적으로 처리할 수 있는가?
• RQ2 시신경 세포를 영감으로 삼은 다중지점 아키텍처는 단일 경로 모델 대비 복원 성능과 일반화 능력에서 어떻게 비교되는가?
• RQ3 학습 가능한 혼합 스케입 연결(MSC)은 표준 잔여 경로보다 특징 융합과 복원 품질을 향상시키는가?
• RQ4 PSNR와 SSIM을 융합한 PS 손실은 표준 L1(MAE) 손실 대비 시각적 품질 향상에 얼마나 기여하는가?
• RQ5 채널, 공간, 픽셀 주의 블록을 별도의 브랜치에 통합함으로써 다양한 오염 유형에 대한 성능에 어떤 영향을 미치는가?

주요 결과

• CMFNet은 합성 및 실세계 벤치마크를 포함한 네 가지 데이터셋에서 흐림제거, 안개제거, 비제거 작업에서 경쟁적인 성능을 달성한다.
• GoPro 흐림제거 데이터셋에서 CMFNet은 PSNR 30.54 dB, SSIM 0.913을 기록하며 중간 순위에 머물러 있지만 강력한 내구성을 입증한다.
• 분석 실험 결과, MSC와 PS 손실을 모두 포함한 전체 CMFNet은 GoPro에서 PSNR 29.16 dB, SSIM 0.887을 기록하며, 모든 변형 모델보다 뛰어난 성능을 보였다.
• 추가 파rameter 없이도 L1 손실 대비 +0.008의 SSIM 향상으로 인해 시각적 품질 향상이 확인되었다.
• 세 가지 주의 블록(CA, SA, PA)을 포함한 다중지점 설계는 PSNR 28.88 dB를 기록하여 다중경로 특징 학습이 성능 향상에 기여함을 보였다.
• 학습 가능한 파rameter를 가진 제안된 MSC는 표준 잔여 경로보다 더 효과적인 특징 집합을 가능하게 하여 분석 실험에서 가장 높은 PSNR와 SSIM 성능 기록을 달성했다.