[논문 리뷰] On learning optimized reaction diffusion processes for effective image restoration

Yunjin Chen, Wei Yu외 1명|arXiv (Cornell University)|2015. 03. 19.

Image and Signal Denoising Methods참고 문헌 30인용 수 43

한 줄 요약

이 논문은 손실 기반 최적화 방법을 통해 학습 가능한 선형 필터와 매개변수화된 영향 함수를 조합한 학습 가능한 비선형 반응-확산 모델을 제안한다. 이 방법은 높은 계산 효율성을 확보하여 GPU 병렬 처리를 빠르게 구현하고, 노이즈 제거 및 JPEG 디블로킹 작업에서 기존 방법을 능가하는 최신 기술 수준의 복원 성능을 달성한다.

ABSTRACT

For several decades, image restoration remains an active research topic in low-level computer vision and hence new approaches are constantly emerging. However, many recently proposed algorithms achieve state-of-the-art performance only at the expense of very high computation time, which clearly limits their practical relevance. In this work, we propose a simple but effective approach with both high computational efficiency and high restoration quality. We extend conventional nonlinear reaction diffusion models by several parametrized linear filters as well as several parametrized influence functions. We propose to train the parameters of the filters and the influence functions through a loss based approach. Experiments show that our trained nonlinear reaction diffusion models largely benefit from the training of the parameters and finally lead to the best reported performance on common test datasets for image restoration. Due to their structural simplicity, our trained models are highly efficient and are also well-suited for parallel computation on GPUs.

연구 동기 및 목표

• 고성능 복원 품질을 유지하면서도 계산 효율성이 높은 이미지 복원 방법을 개발하는 것.
• 수작업으로 설계된 PDE 기반 확산 모델의 한계를 극복하기 위해 데이터로부터 최적의 필터와 영향 함수를 학습하는 것.
• 구조적 단순성과 GPU 병렬 계산에 적합한 특성 덕분에 고속 처리를 가능하게 하는 것.
• 학습된 영향 함수가 기존의 강력한 스무딩 함수를 능가하는 성능을 보일 수 있는지 탐색하는 것.
• 고전적 기준 벤치마크에서 가우시안 노이즈 제거 및 JPEG 디블로킹 작업에 대해 최신 기술 수준의 성능을 입증하는 것.

제안 방법

• 모델은 기존의 반응-확산 모델에 학습 가능한 선형 필터와 매개변수화된 영향 함수를 확장하여 구성한다.
• 필터와 영향 함수의 파라미터는 지도 학습 기반의 손실 최적화 프레임워크를 통해 종단 간(end-to-end)으로 학습된다.
• 영향 함수는 영점에서 벗어난 다중 최소값을 가지도록 학습되어 단순한 스무딩이 아닌 구조 강화 기능을 수행한다.
• 고정된 확산 단계 수를 가진 다단계 아키텍처를 사용하며, 각 단계에서 학습된 필터와 비선형성을 적용한다.
• 컨volution 연산에 의존하고 복잡한 변환을 포함하지 않아 GPU에서의 효율적 구현이 가능하다.
• 이 방법은 가우시안 노이즈 제거와 JPEG 디블로킹에 각각 적용되며, 각 작업에 대해 별도의 모델이 학습된다.

실험 결과

연구 질문

• RQ1 학습 가능한 반응-확산 모델이 고성능 복원 성능를 유지하면서도 높은 계산 효율성을 확보할 수 있는가?
• RQ2 학습된 영향 함수는 기존 PDE 기반 방법에서 사용하는 전통적인 강력한 함수와 어떻게 다를 수 있는가?
• RQ3 이 모델은 노이즈 제거 및 디블로킹과 같은 다양한 이미지 복원 작업에 대해 잘 일반화될 수 있는가?
• RQ4 고정된 수작업 필터 및 비선형성 대비 학습된 필터와 비선형성의 성능 향상 기여도는 어느 정도인가?
• RQ5 고해상도 이미지에서 다른 최신 기술 대비 이 모델의 런타임 성능는 어떻게 비교되는가?

주요 결과

• 제안된 TRD 모델은 표준 가우시안 노이즈 제거 벤치마크에서 최고의 보고된 PSNR 성능를 달성하여 최신 기술 수준의 방법을 능가한다.
• JPEG 디블로킹 작업에서는 품질 요인 10, 20, 30일 때 각각 PSNR 값 27.85, 30.06, 31.41을 기록하여 모든 경쟁 방법을 능가한다.
• 1024×1024 이미지에 대해 GPU에서 약 0.095초 내로 실행되며, 다음으로 빠른 방법(SADCT, CPU에서 약 56.5초)보다 훨씬 빠르다.
• 학습된 영향 함수는 영점에서 벗어난 다중 최소값을 가지며, 균일한 스무딩이 아닌 적응형 구조 강화 기능을 수행한다.
• 모델 아키텍처는 매우 병렬 처리에 적합하여 단일 스레드 CPU에서도 높은 효율을 보이며, 많은 비국소적 방법보다 빠른 성능을 기록한다.
• 모델는 매우 낮은 아키텍처 변경으로도 노이즈 제거 및 디블로킹 작업에서 모두 최상의 성능를 달성하여 강력한 일반화 능력을 보여준다.