[논문 리뷰] DeepDeblur: Fast one-step blurry face images restoration

Lingxiao Wang, Yali Li외 1명|arXiv (Cornell University)|2017. 11. 27.

Advanced Image Processing Techniques참고 문헌 26인용 수 9

한 줄 요약

이 논문은 전통적인 이단계 커널 추정 및 역상태화를 거치지 않고도 빠르고 효과적으로 흐린 얼굴 이미지를 복원하는 단일 단계 컨볼루션 신경망(CNN)인 DeepDeblur를 제안한다. 부드러움과 얼굴 신원 정규화를 고려해 다양한 무작위로 생성된 블러 커널로 훈련시킴으로써, 소형 얼굴 이미지에서 최신 기술 수준의 성능을 달성하며, 얼굴 인식 정확도를 100배 이상 빠르게 향상시키면서도 높은 PSNR와 확인 정확도를 유지한다.

ABSTRACT

We propose a very fast and effective one-step restoring method for blurry face images. In the last decades, many blind deblurring algorithms have been proposed to restore latent sharp images. However, these algorithms run slowly because of involving two steps: kernel estimation and following non-blind deconvolution or latent image estimation. Also they cannot handle face images in small size. Our proposed method restores sharp face images directly in one step using Convolutional Neural Network. Unlike previous deep learning involved methods that can only handle a single blur kernel at one time, our network is trained on totally random and numerous training sample pairs to deal with the variances due to different blur kernels in practice. A smoothness regularization as well as a facial regularization are added to keep facial identity information which is the key to face image applications. Comprehensive experiments demonstrate that our proposed method can handle various blur kenels and achieve state-of-the-art results for small size blurry face images restoration. Moreover, the proposed method shows significant improvement in face recognition accuracy along with increasing running speed by more than 100 times.

연구 동기 및 목표

• 느리고 소형 저대비 얼굴 이미지에서는 실패하는 기존의 이단계 블라인드 디블러 처리 방법의 한계를 해결한다.
• 일般화 장벽을 극복한다: 딥러닝 기반의 블러 복원 기법은 일반적으로 고정되거나 특정한 블러 커널에만 적합하다.
• 얼굴 인식 성능 향상을 위해 블러 복원 과정에서 얼굴 신원을 유지한다.
• 기존 방법보다 극적으로 빠른 속도를 확보하여 실시간 얼굴 인식 시스템에 블러 복원을 적용할 수 있도록 한다.

제안 방법

• 다양한 블러 커널을 한 번의 종단 간 추론 단계에서 처리할 수 있도록 다중 스케일의 딥 리지드 네트워크와 인셉션 모듈을 활용한다.
• 다양한 블러 유형에 대한 일반화 능력을 향상시키기 위해, 임의로 생성된 블러 커널과 해당하는 선명한 이미지 쌍으로 구성된 대규모 데이터셋으로 네트워크를 훈련시킨다.
• 전체 변화도(TV)를 통한 부드러움과 신원 관련 특징을 유지하기 위한 얼굴 구조 손실을 도입한다.
• 모델 크기를 약 40% 감소시키면서 성능에 손상이 가지 않도록 깊이 분리형 컨볼루션을 활용한다.
• L2 손실 + TV 손실 + 얼굴 신원 손실을 조합한 손실 함수를 사용하며, 텍스처 충실도와 신원 유지 간 균형을 맞추기 위해 가중치를 적응적으로 조정한다.
• 반복적 커널 추정 또는 후처리 단계가 필요 없이 직접 단일 단계 추론이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 사전 커널 추정 없이도 다양한 알려지지 않은 블러 커널에 대해 단일 CNN으로 흐린 얼굴 이미지를 복원할 수 있는가?
• RQ2 얼굴 인식 정확도 향상을 위해 블러 복원 과정에서 얼굴 신원을 어떻게 유지할 수 있는가?
• RQ3 소형 얼굴 이미지에서 속도와 품질 측면에서 이단계 블러 복원 방법을 능가하는 단일 단계 딥러닝 방법이 가능한가?
• RQ4 과도한 부드러움과 잡음 등을 방지하면서도 신원 특징을 유지하기 위해 가장 효과적인 정규화 전략은 무엇인가?
• RQ5 무작위 커널로 훈련된 모델이 선형 운동 블러와 같이 훈련 중에 보지 못한 블러 유형으로도 일반화할 수 있는가?

주요 결과

• 복원 후 LFW 데이터셋에서 모델은 97.75%의 확인 정확도를 달성하여, 블러 입력(22.83% 정확도)과 다른 최신 기술 수준의 방법들을 크게 앞서간다.
• LFW 벤치마크에서 모델는 PSNR 25.63 dB로 흐린 이미지를 복원하여 강력한 이미지 품질 향상을 보였다.
• 이전의 블러 복원 알고리즘보다 100배 이상 빠르게 작동하여 실시간 얼굴 인식 응용 분야에 적합하다.
• 훈련 중에 볼 수 없었던 선형 운동 블러 커널(L=15, 각도=45°)에 대해서도 모델은 높은 PSNR를 기록하며 타당한 결과를 생성하여 강력한 일반화 능력을 입증했다.
• 절단 실험 결과, 깊이 분리형 컨볼루션을 제거하면 PSNR가 2.58 dB 감소하고 확인 정확도는 9.25% 감소함으로써, 효율성과 성능 향상에 있어 그 중요성을 입증했다.
• 최적의 정규화 가중치(α/β ≈ 1)는 텍스처 세부 정보와 부드러움을 균형 있게 유지한다; 극단적인 값은 잡음이나 과도한 부드러움을 유발하므로, 정교한 초모수 조정이 필요함을 확인했다.