[논문 리뷰] Dynamically Unfolding Recurrent Restorer: A Moving Endpoint Control Method for Image Restoration

Xiaoshuai Zhang, Yiping Lu외 2명|arXiv (Cornell University)|2018. 01. 01.

Image and Signal Denoising Methods참고 문헌 35인용 수 22

한 줄 요약

이 논문은 각 입력 이미지에 대해 최적의 복원 단계 수를 적응적으로 결정할 수 있는 움직이는 종점 제어 메커니즘을 사용하는 새로운 이미지 복원 프레임워크인 동적 편개(recurrent) 복원기(Dynamically Unfolding Recurrent Restorer, DURR)를 제안한다. 이미지 복원을 순환 신경망에 의해 지배되는 동적 시스템으로 모델링하고 정책 네트워크를 통해 종료 시간을 학습함으로써, DURR는 빌드인 이미지 노이즈 제거 및 JPEG 디블로킹에서 최신 기술 수준의 성능을 달성하며, 훈련 분포를 초월한 새로운 복원 수준에 대해서도 강인하게 일반화된다.

ABSTRACT

In this paper, we propose a new control framework called the moving endpoint control to restore images corrupted by different degradation levels in one model. The proposed control problem contains a restoration dynamics which is modeled by an RNN. The moving endpoint, which is essentially the terminal time of the associated dynamics, is determined by a policy network. We call the proposed model the dynamically unfolding recurrent restorer (DURR). Numerical experiments show that DURR is able to achieve state-of-the-art performances on blind image denoising and JPEG image deblocking. Furthermore, DURR can well generalize to images with higher degradation levels that are not included in the training stage.

연구 동기 및 목표

• 다양한 복원 수준을 가진 이미지를 단일 통합 모델로 복원하는 데 도전하는 것.
• 기존의 딥러닝 기반 이미지 복원 방법에서 고정된 깊이의 네트워크와 수동적인 하이퍼파라미터 조정의 한계를 극복하는 것.
• 더 높은 노이즈 수준이나 JPEG 압축의 알려지지 않은 품질 인자와 같은 새로운 복원 수준에 대한 일반화 성능 향상.
• 이미지 복원 깊이를 입력에 따라 동적으로 조절하는 통합 프레임워크 개발을 통해 강인성과 유연성 향상.

제안 방법

• 이미지 복원 과정은 순환 신경망을 사용한 컨volutional RNN을 통해 연속 시간 동적 시스템 Ẋ = f(X(t), w(t))로 모델링된다. 이는 복원 단위로 기능한다.
• 종료 시간 τ(x)는 고정되어 있지 않고, 입력 이미지마다 정책 네트워크를 통해 학습되며, 복원 수준에 따라 적응적으로 정지하는 것을 가능하게 한다.
• 이 프레임워크는 종료 시간이 이동하는 최적 제어 문제로 공식화되며, 재구성 오차와 정규화 항을 포함한 손실 함수를 최소화한다.
• 정책 네트워크는 각 입력 이미지에 대해 최적의 RNN 단계 수(즉, 루프 횟수)를 결정하기 위해 딥 Q러닝을 사용하여 훈련된다.
• 복원 단위와 정책 네트워크는 종료 시간에 따라 동적으로 편개되는 RNN을 이끌어내는 방식으로 엔드 투 엔드 방식으로 공동으로 훈련된다.
• 이 방법은 잔차 네트워크와 최적 제어 간의 유사성에 기반하며, 잔차 블록을 연속 동역학의 시간 이산화로 해석한다.

실험 결과

연구 질문

• RQ1 재학습이나 하이퍼파라미터 조정 없이도 단일 딥러닝 모델이 다양한 복원 수준을 가진 이미지를 효과적으로 복원할 수 있는가?
• RQ2 학습된 이미지 복원 과정의 종료 시간을 입력에 특화된 복원 수준에 따라 적응적으로 조절할 수 있는가?
• RQ3 정책 기반의 동적 정지 메커니즘이 고정 깊이 모델에 비해 새로운 복원 수준에 대한 일반화 성능을 향상시키는가?
• RQ4 움직이는 종점 제어 프레임워크가 기존 최신 기술 수준의 모델보다 빌드인 이미지 노이즈 제거 및 JPEG 디블로킹에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• DURR는 빌드인 이미지 노이즈 제거에서 최신 기술 수준의 성능을 달성하여, 테스트된 모든 노이즈 수준에서 DnCNN-B와 UNLNet5를 능가한다. 이는 σ = 65 및 σ = 75와 같이 훈련 중에 볼 수 없었던 수준에서도 마찬가지다.
• BSD68 데이터셋에서 DURR는 σ = 65일 때 PSNR 25.26 dB를 기록했으며, 이는 훈련 중에 볼 수 없었던 수준이지만 DnCNN-B는 23.40 dB로 크게 떨어지며 강력한 일반화 능력을 입증한다.
• JPEG 디블로킹에서는 DURR가 대부분의 경우 DnCNN-3를 능가하며, QF 40일 때 34.01 dB, QF 10일 때 29.23 dB의 성능을 기록했다. 이는 파rameter 수가 훨씬 적음에도 불구하고 성능이 뛰어나다.
• 실제 세계의 노이즈 제거에서는 DURR가 노이즈 수준 σ = 65(훈련 중에 볼 수 없음)인 테스트 이미지에서 PSNR 22.84 dB를 기록했으며, DnCNN의 21.86 dB를 뛰어넘고 더 섬세한 질감을 잘 유지한다.
• 추가 정밀 조정 없이도 실제 세계의 노이즈에 대해 잘 일반화되며, Lebrun 등(2015)의 이미지에서의 정성적 결과를 통해 DURR가 베이스라인보다 더 정확하게 질감을 복원함을 보여준다.
• 정책 네트워크는 각 이미지의 복원 단계 수를 적절히 조절하는 데 성공하여, 고복원 수준 입력을 처리하는 데 있어 고정 깊이 대비 더 효과적으로 작동함을 입증한다.