[논문 리뷰] Edge-Aware Deep Image Deblurring

Zhichao Fu, Tianlong Ma외 4명|arXiv (Cornell University)|2019. 07. 04.

Advanced Image Processing Techniques인용 수 9

한 줄 요약

이 논문은 단일 이미지의 블러를 복원하기 위한 이중 단계형 에지 인식 딥 러닝 프레임워크인 EADNet을 제안한다. 이는 에지 구조를 향상시켜 시각적 품질을 개선한다. 에지 검출 서브넷과 잔차 전연결 합성곱 복원 서브넷을 통합함으로써, GOPRO 및 코헬러 벤치마크에서 최신 기술 수준의 성능을 달성하며, 더 선명한 에지를 생성하고 잡음 요소를 줄였다. 이는 PSNR 및 시각적 품질 측면에서 이전 방법들을 능가한다.

ABSTRACT

Image deblurring is a fundamental and challenging low-level vision problem. Previous vision research indicates that edge structure in natural scenes is one of the most important factors to estimate the abilities of human visual perception. In this paper, we resort to human visual demands of sharp edges and propose a two-phase edge-aware deep network to improve deep image deblurring. An edge detection convolutional subnet is designed in the first phase and a residual fully convolutional deblur subnet is then used for generating deblur results. The introduction of the edge-aware network enables our model with the specific capacity of enhancing images with sharp edges. We successfully apply our framework on standard benchmarks and promising results are achieved by our proposed deblur model.

연구 동기 및 목표

• 강한 사전 지식에 의존하고 인간의 시각적 인식과 일치하지 않는 전통적 복원 방법의 한계를 해결하기 위해.
• 에지 구조를 핵심 시각적 요소로 명시적으로 통합하여 딥 러닝 기반 이미지 복원 성능을 향상시키기 위해.
• 에지 검출과 복원을 분리한 두 단계형 네트워크를 설계하여 더 나은 해석 가능성과 성능을 확보하기 위해.
• 시각적 손실에 의해 유발되는 잡음 요소를 줄이고 복원된 출력의 에지 선명도를 향상시키기 위해.
• 계산 효율성과 고품질 복원 결과 사이의 균형을 확보하기 위해.

제안 방법

• 이중 단계 아키텍처를 제안한다: 먼저, 에지 검출 서브넷이 뿌연 이미지에서 고주파 에지 정보를 추출한다.
• 그 후, 에지 맵을 뿌연 입력과 융합하여 잔차 전연결 합성곱 복원 서브넷을 통해 종단 간 이미지 복원을 수행한다.
• 에지 서브넷은 다중 감독 지점이 있는 경량의 사이드아웃 네트워크로 구현되어 에지 세부 정보를 유지한다.
• 예측된 에지 맵과 진짜 에지 맵 간의 구조적 유사성을 강제하기 위해 다중 척도 에지 손실을 적용한다.
• 초기 합성곱 층에서 시각적 손실을 계산하여 전반적인 질감과 대비를 유지하면서 잡음 요소를 증폭시키지 않는다.
• 픽셀 수준 정확도와 인간의 시각적 품질을 동시에 최적화하기 위해 L1 손실, 시각적 손실, 에지 손실의 조합으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 명시적인 에지 감독이 딥 러닝 기반 이미지 복원 결과의 시각적 품질을 향상시키는 데 기여하는가?
• RQ2 에지 정보를 통합할 경우 복원된 이미지의 선명도와 구조적 충실도는 어떻게 영향을 받는가?
• RQ3 에지와 복원 서브넷을 별도로 설계한 이중 단계 아키텍처는 모델의 해석 가능성과 성능을 어느 정도 향상시키는가?
• RQ4 에지 인식 훈련은 이미지 복원에서 시각적 손실로 인한 일반적인 잡음 요소를 줄이는 데 기여하는가?
• RQ5 기본 벤치마크에서 PSNR, SSIM 및 시각적 품질 측면에서 제안된 방법은 최신 기술 수준의 접근 방식과 어떻게 비교되는가?

주요 결과

• EADNet은 GOPRO 벤치마크에서 PSNR 30.78, SSIM 0.9137을 기록하여, 에지 감독 없이 훈련된 기준 모델(29.53 PSNR, 0.9014 SSIM)을 능가한다.
• 전체 EdgeNet을 사용한 모델은 코헬러 데이터셋에서 PSNR 26.61, MSSIM 0.8297을 기록하여, 에지 정보가 없는 아블레이션 버전보다 유의미하게 뛰어나다.
• EdgeNet의 첫 번째 레이어 출력만을 사용한 경우(Reduced EdgeNet) GOPRO에서 PSNR 31.02를 기록하여, 성능 저하가 최소화된 높은 효율성을 보였다.
• 시각적 비교 결과, EADNet은 특히 운동 뿌연 및 가우시안 뿌연 영역에서 진짜 이미지와 유사한 선명하고 연속적인 에지를 생성하는 복원된 이미지를 생성한다.
• 에지 인식 설계 덕분에 시각적 잡음 요소(예: 캔버스 같은 질감)가 감소했으며, 이는 그림 11의 확대 영역을 통해 확인되었다. 이는 시각적 손실을 사용하고 있음에도 불구하고 성립한다.
• DeblurNet 컴ponent는 9M 이하의 파라미터를 소비하고, Reduced EdgeNet은 0.04M에 불과하여 강력한 계산 효율성을 보였다.