[논문 리뷰] Non-Local Recurrent Network for Image Restoration

Ding Liu, Bihan Wen외 3명|arXiv (Cornell University)|2018. 06. 07.

Advanced Image Processing Techniques참고 문헌 51인용 수 268

한 줄 요약

본 논문은 순환 신경망(RNN)에 내재된 비국소 모듈(NLRN)을 도입하여 이미지 복원에 비국소 자기유사성(sne-self similarity)을 활용하고, 매개변수가 적은 상태에서 최첨단 성능을 달성하며 열악한 조건에서도 강건한 성능을 보인다.

ABSTRACT

Many classic methods have shown non-local self-similarity in natural images to be an effective prior for image restoration. However, it remains unclear and challenging to make use of this intrinsic property via deep networks. In this paper, we propose a non-local recurrent network (NLRN) as the first attempt to incorporate non-local operations into a recurrent neural network (RNN) for image restoration. The main contributions of this work are: (1) Unlike existing methods that measure self-similarity in an isolated manner, the proposed non-local module can be flexibly integrated into existing deep networks for end-to-end training to capture deep feature correlation between each location and its neighborhood. (2) We fully employ the RNN structure for its parameter efficiency and allow deep feature correlation to be propagated along adjacent recurrent states. This new design boosts robustness against inaccurate correlation estimation due to severely degraded images. (3) We show that it is essential to maintain a confined neighborhood for computing deep feature correlation given degraded images. This is in contrast to existing practice that deploys the whole image. Extensive experiments on both image denoising and super-resolution tasks are conducted. Thanks to the recurrent non-local operations and correlation propagation, the proposed NLRN achieves superior results to state-of-the-art methods with much fewer parameters.

연구 동기 및 목표

• 깊은 네트워크에서 이미지 복원을 위한 명시적 선험으로 비국소 자기유사성(non-local self-similarity)을 활용하는 동기를 제시한다.
• 기존 네트워크에 엔드투엔드로 훈련되고 통합될 수 있는 비국소 모듈을 제안한다.
• RNN 프레임워크를 활용하여 매개변수 효율성을 개선하고 상태 간에 심층 특징 상관관계를 전파한다.
• 상관 계산을 제한된 이웃으로 제한하고 상태 간 상관 전파를 가능하게 하여 악화된 입력에 대한 강건성을 입증한다.

제안 방법

• Z = diag{delta(X)}^{-1} Phi(X) G(X)를 계산하는 일반적인 비국소 연산 프레임워크를 정의한다.
• 학습된 선형 임베딩을 사용하여 Phi(X)와 G(X)를 계산하는 소프트 블록 매칭 비국소 모듈을 도입한다(식 4-6).
• 기존 모델에 유연하게 삽입하고 엔드투엔드 학습을 가능하게 하도록 비국소 모듈을 스킵 연결로 감싼다.
• 매개변수를 공유하고 인접 상태 간에 상관 정보를 전파하기 위해 비국소 모듈을 순환 신경망 내부에 삽입한다( s^t = f_recurrent(s^{t-1}, s^0) ).
• 복원 대상에 대해 평균제곱오차 손실로 학습하기 위해 128 개 필터의 3x3 컨볼루션 백본, 배치 정규화, ReLU 활성화를 사용한다.
• 상관 계산을 위한 이웃 크기(q)를 제한하는 것이 전체 이미지를 사용하는 것보다 강건성을 향상시킨다는 것을 보인다.

실험 결과

연구 질문

• RQ1 비국소 연산이 이미지 복원을 위해 RNN에 효과적으로 통합될 수 있는가?
• RQ2 상관 이웃을 제한하는 것이 전체 이미지 비국소성에 비해 악화된 입력에 대한 강건성을 향상시키는가?
• RQ3 순환 상태 간의 상관 정보 전파가 복원 성능과 학습 안정성을 향상시키는가?
• RQ4 제안된 NLRN이 노이즈 제거 및 초해상도 작업에서 최첨단 방법들과 어떻게 비교되는가?

주요 결과

• 비국소 모듈은 딥 네트워크에 유연하게 통합되고 이미지 복원을 위해 엔드투엔드 학습될 수 있다.
• 상관 계산에 제한된 이웃을 사용하는 것이 악화된 입력에 대한 강건성을 향상시킨다.
• 인접한 순환 상태 간 특징 상관을 전파하는 것이 상관 추정 및 복원 성능을 향상시킨다.
• NLRN은 노이즈 제거 및 초해상도 벤치마크에서 여러 최첨단 방법에 비해 매개변수 수가 상당히 적은 상태에서 우수한 결과를 달성한다.