[논문 리뷰] CFSNet: Toward a Controllable Feature Space for Image Restoration

Wei Wang, Ruiming Guo외 2명|arXiv (Cornell University)|2019. 04. 01.

Advanced Image Processing Techniques참고 문헌 43인용 수 5

한 줄 요약

CFSNet는 단일 제어 변수 α_in를 통해 인지적 품질과 왜곡을 균형 잡는 사용자 조절 가능한 특징 공간 프레임워크를 제안한다. 이는 슈퍼해상도, 노이즈 제거, 디블로킹 작업에서 최고 수준의 성능을 달성하며, 개선된 시각적 품질과 유연성을 제공한다. 이중 브랜치 네트워크에서 적응형 커플링 계수를 사용함으로써, 인지적 품질과 왜곡 간의 균형을 동적으로 조정할 수 있다.

ABSTRACT

Deep learning methods have witnessed the great progress in image restoration with specific metrics (e.g., PSNR, SSIM). However, the perceptual quality of the restored image is relatively subjective, and it is necessary for users to control the reconstruction result according to personal preferences or image characteristics, which cannot be done using existing deterministic networks. This motivates us to exquisitely design a unified interactive framework for general image restoration tasks. Under this framework, users can control continuous transition of different objectives, e.g., the perception-distortion trade-off of image super-resolution, the trade-off between noise reduction and detail preservation. We achieve this goal by controlling the latent features of the designed network. To be specific, our proposed framework, named Controllable Feature Space Network (CFSNet), is entangled by two branches based on different objectives. Our framework can adaptively learn the coupling coefficients of different layers and channels, which provides finer control of the restored image quality. Experiments on several typical image restoration tasks fully validate the effective benefits of the proposed method. Code is available at https://github.com/qibao77/CFSNet.

연구 동기 및 목표

• 인지적 품질과 복원 정확도를 균형 잡는 사용자 조절 가능한 이미지 복원 방법의 부족을 해결한다.
• 사용자 선호도 지원이 없는 PSNR 또는 SSIM 최적화에만 치중된 고정된 결정론적 네트워크의 한계를 극복한다.
• 다양한 이미지 복원 작업(예: 슈퍼해상도, 노이즈 제거, 디블로킹)에 적용 가능한 통합형 엔드 투 엔드 프레임워크를 개발한다.
• 단일 스칼라 입력 α_in를 사용해 추론 시기에 지속적이고 실시간으로 복원 결과를 제어할 수 있도록 한다.
• 특징 수준의 제어를 향상시키기 위해 동적으로 조정 가능한 인지적 및 왜곡 목표 간의 트레이드오프를 조절하는 적응형 커플링 계수를 도입한다.

제안 방법

• 저왜곡 최적화를 위한 메인 블록과 고인지적 품질을 위한 튜닝 블록을 갖춘 이중 브랜치 네트워크 아키텍처를 설계한다.
• 제어 스칼라 α_in에서 학습된 적응형 커플링 계수를 사용해 두 브랜치의 특징을 결합하는 커플링 모듈을 도입한다.
• 각 레이어와 채널별로 커플링 계수를 학습함으로써 특징 표현에 대한 세밀한 제어를 가능하게 하는 유연한 기계적 전략을 사용한다.
• 최적화 과정에서 트레이드오프를 균형 잡기 위해 인지적 손실과 복원 손실의 조합을 사용해 네트워크를 엔드 투 엔드로 훈련한다.
• 동일한 아키텍처와 제어 메커니즘을 재사용함으로써 동일한 프레임워크를 여러 이미지 복원 작업에 적용한다.
• 추론 시점에 단일 제어 변수 α_in를 사용해 인지적 품질 최적화 결과와 왜곡 최적화 결과 사이를 선형 보간함으로써 실시간 사용자 선호도 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합 딥러닝 프레임워크는 다양한 작업에서 사용자 중심의 지속적 제어를 가능하게 할 수 있는가?
• RQ2 단일 가변 네트워크에서 인지적 품질과 복원 정확도를 효과적으로 균형 잡을 수 있는가?
• RQ3 적응형 커플링 계수는 미학습된 왜곡 수준에서의 특징 수준 제어와 일반화 능력을 향상시킬 수 있는가?
• RQ4 제안된 방법은 정량적 지표와 주관적 시각적 품질 모두에서 고정된 작업 특화 네트워크를 초월하는가?
• RQ5 학습 데이터에 포함되지 않은 새로운 왜곡 수준(예: 노이즈 수준 또는 JPEG 품질 요소)에서도 성능을 유지하면서 일반화가 가능한가?

주요 결과

• CFSNet는 이미지 노이즈 제거 작업에서 BSD68 데이터셋에서 최고 수준의 PSNR를 달성하며, σ=25일 때 29.24 dB, σ=30(미학습)일 때 28.39 dB, σ=50일 때 26.28 dB를 기록하여, 미학습된 노이즈 수준에서 DnCNN-B와 FFDNet를 모두 능가한다.
• JPEG 디블로킹 작업에서 LIVE1 데이터셋에서 q=40일 때 34.16 dB, q=30(미학습)일 때 33.16 dB, q=20(미학습)일 때 31.71 dB를 기록하며, q=30일 때 DnCNN-3보다 0.18 dB 높은 성능을 보였다.
• 시각적 비교 결과, CFSNet는 ARCNN와 DnCNN에 비해 아티팩트 제거와 세부 정보 유지 간의 균형을 더 잘 달성하며, 특히 중간 수준의 α_in 값에서 뚜렷한 성능 향상을 보였다.
• α_in=0.6일 때 CFSNet는 α_in=0.5일 때보다 테스트017의 하늘 영역을 더 매끄럽게 처리함으로써 사용자 선호도 기반의 시각적 품질 향상을 입증했다.
• CFSNet는 미학습된 왜곡 수준(예: 노이즈 제거에서 σ=15, 디블로킹에서 q=20)에서도 강력한 성능 유지를 보이며, 뛰어난 일반화 능력을 확인했다.
• CFSNet는 추론 시점에 실시간 상호작용 제어를 가능하게 하여, 재학습 없이도 사용자가 개인 선호도에 따라 선호하는 결과를 선택할 수 있도록 했다.