[논문 리뷰] Learning to Restore a Single Face Image Degraded by Atmospheric Turbulence using CNNs

Rajeev Yasarla, Vishal M. Patel|arXiv (Cornell University)|2020. 07. 16.

Advanced Image Processing Techniques참고 문헌 35인용 수 15

한 줄 요약

이 논문은 대기 난류로 인해 손상된 단일 얼굴 이미지를 복원하기 위해 딥러닝 프레임워크인 난류 왜곡 제거 네트워크(TDRN)를 제안한다. 별도의 네트워크를 통해 블러 및 기하학적 왜곡 사전 지식을 추정한 후, 신뢰도 맵을 활용한 일阶 및 이阶 미분 기반 손실을 조합한 새로운 손실 함수를 사용하여 복원 성능을 향상시켰으며, 실제 및 합성 데이터에서 최신 기술(SOTA) 수준의 PSNR(25.04 dB)를 달성하였다.

ABSTRACT

Atmospheric turbulence significantly affects imaging systems which use light that has propagated through long atmospheric paths. Images captured under such condition suffer from a combination of geometric deformation and space varying blur. We present a deep learning-based solution to the problem of restoring a turbulence-degraded face image where prior information regarding the amount of geometric distortion and blur at each location of the face image is first estimated using two separate networks. The estimated prior information is then used by a network called, Turbulence Distortion Removal Network (TDRN), to correct geometric distortion and reduce blur in the face image. Furthermore, a novel loss is proposed to train TDRN where first and second order image gradients are computed along with their confidence maps to mitigate the effect of turbulence degradation. Comprehensive experiments on synthetic and real face images show that this framework is capable of alleviating blur and geometric distortion caused by atmospheric turbulence, and significantly improves the visual quality. In addition, an ablation study is performed to demonstrate the improvements obtained by different modules in the proposed method.

연구 동기 및 목표

• 시간 정보가 제공되지 않는 대기 난류로 인해 손상된 단일 얼굴 이미지를 복원하는 문제에 대응하기 위해.
• 이미지 시퀀스에 의존하거나 블러와 기하학적 왜곡을 동시에 처리하지 못하는 기존 방법의 한계를 극복하기 위해.
• 특히 블러 및 왜곡 사전 지식을 활용하여 단일 프레임의 난류로 인한 얼굴 이미지 복원 성능을 향상시키기 위해.
• 일阶 및 이阶 이미지 기울기와 신뢰도 맵을 통합한 새로운 손실 함수를 설계하여 에지 및 질감 복원 성능을 향상시키기 위해.
• 제안된 사전 지식 및 손실 함수가 다양한 복원 아키텍처에 일반화 가능함을 입증하기 위해.

제안 방법

• 단일 난류로 인해 손상된 얼굴 이미지에서 블러 사전 지식(b)과 기하학적 왜곡 사전 지식(d)를 추정하기 위해 별도의 컨volutional 신경망(CNN) 두 개를 훈련한다.
• 탈블러링 네트워크에서 몬테카를로 드롭아웃을 사용하여 신뢰도 불확실성(에피스테믹 불확실성)을 추정하고, 이를 손실 함수의 기울기에서 사용하는 신뢰도 맵으로 활용한다.
• 블러 사전 지식(b)과 왜곡 사전 지식(d)를 주 복원 네트워크인 TDRN의 추가 입력 채널로 통합한다.
• L1 손실, 지각적 손실, 그리고 수평, 수직, 구조적 기울기를 사용하고 신뢰도 맵을 통합한 기울기 기반 손실 $\mathcal{L}_g$를 조합한 새로운 최종 손실 함수 $\mathcal{L}_{final}$를 제안한다.
• TDRN을 $\mathcal{L}_{final}$를 사용하여 엔드 투 엔드로 훈련하여, 정확도, 지각적 품질, 선명도를 동시에 최적화한다.
• 제안된 사전 지식(b 및 d)을 다른 최신 기술 복원 네트워크(Pix2Pix, Kupyn et al. 등)에 적용하여 일반화 능력과 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 시간 시퀀스가 제공되지 않는 상황에서 딥러닝 프레임워크가 대기 난류로 인해 손상된 단일 얼굴 이미지를 효과적으로 복원할 수 있는가?
• RQ2 학습된 블러 및 기하학적 왜곡 사전 지식은 이러한 지식이 없는 방법에 비해 복원 품질 향상에 얼마나 효과적인가?
• RQ3 신뢰도 맵과 함께 일阶 및 이阶 이미지 기울기를 통합할 경우, 복원된 이미지의 선명도 및 시각적 품질 향상에 어느 정도 기여하는가?
• RQ4 제안된 사전 지식 및 손실 함수는 TDRN 아키텍처를 초월하여 기존 이미지 복원 네트워크의 성능 향상에 일반화 가능한가?
• RQ5 각 구성 요소(사전 지식, 신뢰도 맵, 기울기 기반 손실)가 복원 프레임워크의 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 TDRN 프레임워크는 CelebA 테스트 세트에서 PSNR 25.04 dB를 달성하여 기준 방법 및 최신 기술 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 기본 네트워크에 블러 사전 지식(b)을 추가하면 PSNR가 1.4 dB 향상되었고, 블러 및 왜곡 사전 지식(b 및 d)을 모두 추가하면 추가로 0.8 dB 향상되었다.
• 완전한 $\mathcal{L}_{final}$ 손실 함수를 사용하면 PSNR가 추가로 0.5 dB 향상되어, 신뢰도 맵을 통합한 기울기 기반 손실의 효과를 입증하였다.
• 제거 분석 결과, 각 구성 요소를 추가할수록 이미지 품질이 점진적으로 향상되며, 최고의 성능는 사전 지식과 $\mathcal{L}_{final}$를 모두 사용했을 때 달성되었다.
• 다른 최신 기술 방법(Pix2Pix, Kupyn et al. 등)에 적용했을 경우, b 및 d 사전 지식을 사용하면 약 1 dB의 PSNR 향상이 있었으며, 이는 강력한 일반화 능력을 보여주었다.
• 시각적 결과에서는 TDRN이 블러와 기하학적 왜곡을 효과적으로 줄이며, 존재하는 방법들보다 더 선명하고 현실적인 얼굴 이미지를 생성하는 것으로 나타났다. 특히 실제 난류로 인한 이미지 복원에서도 동일한 성능를 보였다.