[논문 리뷰] Modulating Image Restoration with Continual Levels via Adaptive Feature Modification Layers

Jingwen He, Chao Dong외 1명|arXiv (Cornell University)|2019. 04. 17.

Advanced Image Processing Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 적응형 특징 수정 레이어를 통해 재현 수준을 지속적이고 사용자 제어 가능하게 조절할 수 있는 통합형 CNN 프레임워크인 AdaFM-Net을 제안한다 (예: 노이즈 제거, 초해상도 복원, DeJPEG). 기본 모델을 훈련한 후 경량의 AdaFM 레이어를 삽입하여 필터 통계를 보간함으로써, 재훈련 없이도 임의의 열화 수준에서 부드럽고 아티팩트 없는 복원을 달성한다. 이는 총 모델 파라미터 수의 4% 미만 추가로 이루어지며, 거의 최첨단 성능을 유지한다.

ABSTRACT

In image restoration tasks, like denoising and super resolution, continual modulation of restoration levels is of great importance for real-world applications, but has failed most of existing deep learning based image restoration methods. Learning from discrete and fixed restoration levels, deep models cannot be easily generalized to data of continuous and unseen levels. This topic is rarely touched in literature, due to the difficulty of modulating well-trained models with certain hyper-parameters. We make a step forward by proposing a unified CNN framework that consists of few additional parameters than a single-level model yet could handle arbitrary restoration levels between a start and an end level. The additional module, namely AdaFM layer, performs channel-wise feature modification, and can adapt a model to another restoration level with high accuracy. By simply tweaking an interpolation coefficient, the intermediate model - AdaFM-Net could generate smooth and continuous restoration effects without artifacts. Extensive experiments on three image restoration tasks demonstrate the effectiveness of both model training and modulation testing. Besides, we carefully investigate the properties of AdaFM layers, providing a detailed guidance on the usage of the proposed method.

연구 동기 및 목표

• 딥 러닝 기반 이미지 복원에서 모델이 이산적이고 고정된 열화 수준에서 훈련되기 때문에 실세계 적용에 한계가 있다는 격차를 해결한다.
• 재훈련 없이도 추론 중에 지속적이고 상호작용 가능한 복원 강도 조절을 가능하게 한다.
• 지속적인 열화 수준(예: JPEG 품질, 노이즈 분산)으로 일반화되는 최소한의 계산 오버헤드를 갖는 통합 프레임워크를 개발한다.
• 시작 수준과 끝 수준에서 모두 정밀도를 유지함으로써 전체 범위에서 고품질 출력을 보장한다.
• 실시간 조정이 가능한 복원 효과를 요구하는 상호작용 애플리케이션을 위한 실용적이고 구현 가능한 솔루션을 제공한다.

제안 방법

• 추론 중에 특징 통계를 적응적으로 수정하는 '적응형 특징 수정(AdaFM)' 레이어를 도입한다. 이 레이어는 추론 중에 깊이 분할 컨볼루션을 적용하여 특징 통계를 조정한다.
• 기본 복원 CNN을 시작 수준의 열화(예: DeJPEG의 q80)에서 훈련한 후, 종료 수준의 열화(예: q10)에 적응하기 위해 AdaFM 레이어를 삽입하고 미세조정한다.
• 추론 중에 스칼라 계수 λ ∈ [0,1]를 사용하여 AdaFM 레이어 필터를 보간함으로써, 수준 간의 부드러운 전환을 가능하게 한다.
• 연속적인 열화 수준 L_c 를 보간 계수 λ 로 매핑하기 위해 다항식 함수 λ = Σ w_j * L_c^j 를 사용한다. 이는 정확한 수준 예측을 가능하게 한다.
• 훈련 후 모든 CNN 및 AdaFM 파라미터를 고정함으로써, 추가 학습이나 미세조정 없이도 실시간 조절이 가능하다.
• 시작 수준과 끝 수준에서 모두 높은 성능를 유지하도록 AdaFM 레이어를 최적화함으로써 전체 범위에서의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 재훈련 없이도 단일 딥 러닝 모델이 연속적인 열화 수준 범위에서 효과적으로 조절될 수 있는가?
• RQ2 특징 통계를 어떻게 수정해야 복원 수준 간에 부드럽고 아티팩트 없는 전환을 달성할 수 있는가?
• RQ3 이미지 복원에서 고품질의 연속적 조절을 달성하기 위해 필요한 최소한의 파라미터 오버헤드는 얼마인가?
• RQ4 모델의 조절된 성능는 열화 수준 범위의 양 끝 지점에서 단일 수준 모델과 비교해 어떻게 되는가?
• RQ5 열화 수준과 조절 계수 사이의 다항식 매핑이 예상치 못한 수준에서도 정확하고 안정적인 복원을 달성할 수 있는가?

주요 결과

• AdaFM-Net은 모든 테스트 수준에서 잘 훈련된 단일 수준 모델과 PSNR 거리가 0.2 dB 이내로 유지되어 높은 조절 정확도를 입증한다.
• 작은 열화 범위(예: q80→q50)에서의 조절은 더 큰 범위(예: q80→q10)보다 훨씬 낮은 PSNR 거리(0.1 dB 이내)를 기록하여, 범위 분해가 성능 향상에 기여함을 시사한다.
• AdaFM 레이어는 총 모델 파라미터 수의 4% 미만을 추가함으로써 전체 연속적 조절을 가능하게 하여 매우 효율적인 방법임을 입증한다.
• 정성적 결과에서는 아티팩트가 눈에 띄지 않으며, 특히 Conditional IN 또는 AdaBN을 사용하는 방법과 달리 극단적인 수준에서도 눈에 띄는 왜곡이 없음을 확인했다.
• 단일 제어 노브(λ)를 통해 DeJPEG, 초해상도 복원, 노이즈 제거 작업에서 실시간으로 복원 강도를 조절할 수 있는 상호작용이 가능한 기능이 성공적으로 작동함을 입증했다.
• 다항식 함수를 사용해 보간 계수 λ 를 곡선 피팅함으로써 열화 수준과 조절 설정 간의 정확한 매핑이 가능했으며, 특히 큰 범위에서는 선형 피팅보다 세차 함수가 더 뛰어난 성능를 보였다.