[논문 리뷰] Multi-Stage Progressive Image Restoration

Syed Waqas Zamir, Aditya Arora외 5명|arXiv (Cornell University)|2021. 02. 04.

Advanced Image Processing Techniques참고 문헌 100인용 수 52

한 줄 요약

MPRNet은 인코더-디코더 맥락 학습과 최종 고해상도 단계를 결합한 세 단계의 진행형 이미지 복원 프레임워크를 제시하고, 감독된 주의(attention)와 단계 간 특징 융합을 사용하여 열 개의 데이터셋에서 최첨단 강우 제거, 흐림 제거, 노이즈 제거를 달성한다.

ABSTRACT

Image restoration tasks demand a complex balance between spatial details and high-level contextualized information while recovering images. In this paper, we propose a novel synergistic design that can optimally balance these competing goals. Our main proposal is a multi-stage architecture, that progressively learns restoration functions for the degraded inputs, thereby breaking down the overall recovery process into more manageable steps. Specifically, our model first learns the contextualized features using encoder-decoder architectures and later combines them with a high-resolution branch that retains local information. At each stage, we introduce a novel per-pixel adaptive design that leverages in-situ supervised attention to reweight the local features. A key ingredient in such a multi-stage architecture is the information exchange between different stages. To this end, we propose a two-faceted approach where the information is not only exchanged sequentially from early to late stages, but lateral connections between feature processing blocks also exist to avoid any loss of information. The resulting tightly interlinked multi-stage architecture, named as MPRNet, delivers strong performance gains on ten datasets across a range of tasks including image deraining, deblurring, and denoising. The source code and pre-trained models are available at https://github.com/swz30/MPRNet.

연구 동기 및 목표

• 멀티 스테이지 아키텍처를 통해 이미지 복원을 관리 가능한 하위 작업으로 분해한다.
• 인코더-디코더와 원래 해상도 처리의 결합으로 맥락 정보와 정밀 공간 디테일의 균형을 맞춘다.
• 스테이지별 감독 및 스테이지 간 특징 융합을 통해 진행 학습을 가능하게 한다.
• 크로스 스테이지 연결로 정보 흐름을 보존하고 학습 안정성을 높인다.

제안 방법

• 초기 단계에서 멀티 스케일 맥락 특징을 학습하기 위해 인코더-디코더 서브네트워크를 사용한다.
• 마지막 단계에서 원래 이미지 해상도에서 작동하여 미세 디테일을 보존한다.
• 스테이지 사이에 감독된 주의 모듈(SAM)을 도입하여 그라운드 트루스 가이던스에 따라 특징의 재가중을 수행한다.
• 다단계 간 다중 스케일 맥 context 특징을 전파하기 위한 CSFF를 도입한다.
• 각 스테이지에서 잔차를 예측하고 저하된 입력에 더해 X_S를 얻는다.
• Charbonnier 손실과 에지 손실을 결합한 공동 손실로 엔드투엔드로 학습한다.
• 세부 보존을 위해 채널 주의 블록과 원상 해상도 블록을 가진 ORSNet을 사용한다.

실험 결과

연구 질문

• RQ1 고해상도 디테일과 다중 스케일 맥락 특징을 융합한 다단계 아키텍처가 강우 제거, 흐림 제거, 노이즈 제거 전반의 복원 품질을 향상시키는가?
• RQ2 중간 단계에 감독하고 픽셀 단위의 주의로 특징에 재가중을 수행하면 진행형 복원이 개선되는가?
• RQ3 크로스 스테이지 특징 융합이 정보 흐름과 학습 안정성에 미치는 영향은 무엇인가?
• RQ4 합성 및 실제 degradation 데이터셋을 통해 모델의 일반화 성능은 얼마나 잘 나타나는가?

주요 결과

• MPRNet은 강우 제거, 흐림 제거, 노이즈 제거에 걸쳐 열 개의 합성 및 실제 데이터셋에서 최첨단 성능을 달성했다.
• 감독된 주의 모듈(SAM)과 스테이지 간 특징 융합이 상당한 이득을 제공하며, SAM을 제거하면 배치별 PSNR이 약 0.42–0.63 dB 감소하고, CSFF를 제거하면 PSNR이 약 0.16–0.18 dB 감소한다는 점이 어블에이션에서 확인됐다.
• MSPFN과 비교할 때 MPRNet은 노출 제거에서 약 20%의 상대 PSNR 개선을 달성하면서 매개변수 수가 적고 런타임이 더 빠르다.
• 마지막 단계가 원래 해상도에서 작동하여 미세 공간 디테일을 보존하는 반면, 초기 인코더-디코더 단계가 맥 context를 포착한다.
• 스테이지별 가이던스는 가볍고 빠른 1단계와 점진적으로 강해지는 이후 단계로 구성되어 리소스 효율적인 확장이 가능하다.