[논문 리뷰] Learning Disentangled Feature Representation for Hybrid-distorted Image Restoration

Xin Li, Xin Jin외 6명|arXiv (Cornell University)|2020. 07. 22.

Advanced Image Processing Techniques참고 문헌 43인용 수 8

한 줄 요약

이 논문은 하이브리드 손상 이미지 복원을 위한 새로운 프레임워크인 FDR-Net을 제안한다. 이는 다중 손상 간 간섭을 줄이기 위해 분리된 특징 표현을 학습한다. 수정된 게인-컨트롤 정규화 기반의 특징 분리 모듈(FDM)과 채널별 어텐션을 갖춘 특징 통합 모듈(FAM)을 도입함으로써, 손상 유형에 특화된 특징을 별도의 채널으로 분리하고, 적응적으로 청소년 이미지를 재구성한다. 이로 인해 실제 하이브리드 손상 벤치마크에서 최고 성능을 기록하고, 단일 손상 작업에서 뛰어난 강건성을 확보한다.

ABSTRACT

Hybrid-distorted image restoration (HD-IR) is dedicated to restore real distorted image that is degraded by multiple distortions. Existing HD-IR approaches usually ignore the inherent interference among hybrid distortions which compromises the restoration performance. To decompose such interference, we introduce the concept of Disentangled Feature Learning to achieve the feature-level divide-and-conquer of hybrid distortions. Specifically, we propose the feature disentanglement module (FDM) to distribute feature representations of different distortions into different channels by revising gain-control-based normalization. We also propose a feature aggregation module (FAM) with channel-wise attention to adaptively filter out the distortion representations and aggregate useful content information from different channels for the construction of raw image. The effectiveness of the proposed scheme is verified by visualizing the correlation matrix of features and channel responses of different distortions. Extensive experimental results also prove superior performance of our approach compared with the latest HD-IR schemes.

연구 동기 및 목표

• 실제 이미지 복원에서 다중으로 동시에 발생하는 이미지 손상 간 간섭 문제를 해결하기 위해.
• 특징 수준에서 하이브리드 손상을 분리-정복할 수 있도록 특징 수준에서 분리된 표현을 학습하기 위해.
• 새로운 정규화 기반 모듈을 통해 손상 유형에 특화된 특징을 별도의 채널으로 분리함으로써 복원 성능을 향상시키기 위해.
• 채널별 어텐션을 이용한 적응적 특징 통합을 통해 콘텐츠 관련 특징의 활용도를 높이기 위해.
• 탈초점화 및 비 온라인 등 단일 손상 작업에서의 방법의 강건성을 검증하기 위해.

제안 방법

• 다양한 손상 유형의 특징을 별도의 채널에 분배하기 위해 게인-컨트롤 기반 정규화를 재구성한 특징 분리 모듈(FDM)을 제안한다.
• 채널 간 특징의 상관관계를 줄이기 위해 수정된 정규화 메커니즘을 사용하여 개별 손상 유형의 채널별 표현을 가능하게 한다.
• 손상 유형에 특화된 특징을 걸러내고 청소년 이미지 콘텐츠를 재구성하기 위해 채널별 어텐션을 갖춘 특징 통합 모듈(FAM)을 도입한다.
• 잔차 블록과 보조 감독을 활용한 다단계 인코더-디코더 아키텍처를 사용하여 학습 안정성과 특징 학습 성능을 향상시킨다.
• FAM에서 게인-컨트롤 정규화의 역변환을 활용하여 분리된 표현에서 고품질 특징을 재구성한다.
• DID-HY, Gopro, DID-MDN 등의 하이브리드 손상 데이터셋에서 엔드 투 엔드로 네트워크를 훈련시키며, 평가 지표로 PSNR와 SSIM을 사용한다.

실험 결과

연구 질문

• RQ1 실제 이미지에서 동시에 발생하는 다중 손상 간의 간섭을 분리된 특징 학습이 줄일 수 있는가?
• RQ2 수정된 정규화 메커니즘을 사용해 서로 다른 손상 유형의 특징 표현을 효과적으로 별도의 채널으로 분리할 수 있는가?
• RQ3 채널별 어텐션을 통한 적응적 특징 통합이 종합적 융합 대비 이미지 복원 품질을 향상시키는가?
• RQ4 제안된 FDR-Net은 탈초점화 및 비 온라인 등 단일 손상 작업으로 일반화 가능한가?
• RQ5 FDM, FAM 및 다단계 설계와 같은 아키텍처 구성 요소가 성능 및 특징 분리에 미치는 영향은 어떠한가?

주요 결과

• FDR-Net은 DID-HY 데이터셋에서 최고 성능을 기록했으며, PSNR 24.97, SSIM 0.680을 달성하여 이전 방법들을 능가한다.
• 절단 실험을 통해 FDM과 FAM가 핵심임을 확인하였으며, 이를 제거하면 PSNR가 1.06 dB 감소한다(24.97에서 23.91로).
• 세 개의 FDlayer와 32개의 채널 조합이 최적 성능을 내며, 채널 수나 레이어 수를 더 늘려도 성능 향상의 효과는 점점 감소한다.
• 다단계 설계가 성능 향상에 기여하며, 6단계에서 포화 상태에 도달한다(PSNR: 24.97, SSIM: 0.680).
• 탈초점화 작업을 위한 Gopro 데이터셋에서 FDR-Net은 PSNR 30.12를 기록하여 DeepDeblur와 Deblurgan을 능가한다.
• 비 온라인 작업을 위한 DID-MDN 데이터셋에서 FDR-Net은 PSNR 32.96, SSIM 0.951을 달성하여 SPANET과 RESCAN를 능가한다.