[논문 리뷰] Unsupervised Domain-Specific Deblurring via Disentangled Representations

Boyu Lu, Jun-Cheng Chen외 1명|arXiv (Cornell University)|2019. 03. 05.

Advanced Image Processing Techniques참고 문헌 42인용 수 15

한 줄 요약

이 논문은 흐림 이미지 내의 콘텐츠 및 흐림 특징을 분리하기 위해 분리 표현을 사용하는 비지도 도메인 특화 흐림 제거 방법을 제안한다. 흐림 특징에 대해 KL 발산 손실을 적용하고 순환 일致성 및 적대적 손실을 활용함으로써, 쌍화된 훈련 데이터 없이도 얼굴 및 텍스트 흐림 제거에서 최신 기술 수준의 성능을 달성하며, 이전의 비지도 방법에 비해 시각적 품질과 의미 정보 복원 능력이 크게 향상된다.

ABSTRACT

Image deblurring aims to restore the latent sharp images from the corresponding blurred ones. In this paper, we present an unsupervised method for domain-specific single-image deblurring based on disentangled representations. The disentanglement is achieved by splitting the content and blur features in a blurred image using content encoders and blur encoders. We enforce a KL divergence loss to regularize the distribution range of extracted blur attributes such that little content information is contained. Meanwhile, to handle the unpaired training data, a blurring branch and the cycle-consistency loss are added to guarantee that the content structures of the deblurred results match the original images. We also add an adversarial loss on deblurred results to generate visually realistic images and a perceptual loss to further mitigate the artifacts. We perform extensive experiments on the tasks of face and text deblurring using both synthetic datasets and real images, and achieve improved results compared to recent state-of-the-art deblurring methods.

연구 동기 및 목표

• 쌍화된 훈련 데이터가 없는 비지도 도메인 특화 이미지 흐림 제거 과제를 해결하기 위해.
• 일반적인 흐림 제거 사전 지식으로 잘 처리되지 않는 특수 도메인(예: 얼굴 및 텍스트)에서의 흐림 제거 성능을 향상시키기 위해.
• 콘텐츠 정보 유출 없이 정확한 흐림 모델링을 보장하기 위해 흐림 특징과 콘텐츠 특징을 분리하기 위해.
• 순환 일치성 및 지각 정규화를 통해 구조적 콘텐츠를 유지하고 실제적인, 잡음 없는 흐림 제거 이미지를 생성하기 위해.
• 얼굴 인식 및 OCR과 같은 후속 작업을 통해 의미 정보 복원 능력을 검증하기 위해.

제안 방법

• 프레임워크는 흐린 이미지와 선명한 이미지에 대해 별도의 콘텐츠 인코더를 사용하며, 공통 공간에 특징을 투영하기 위해 공유된 마지막 레이어 가중치를 사용한다.
• 흐림 인코더는 흐린 이미지에서 흐림 특징을 추출하며, 그 분포를 제약하기 위해 KL 발산 손실이 적용되어 콘텐츠 정보의 억제가 이루어진다.
• 흐림 제거 생성기는 콘텐츠 및 흐림 특징에 조건부로 선명한 이미지를 재구성하며, 흐림 생성기는 선명한 이미지에서 흐린 이미지를 재구성한다.
• 양방향 도메인 간 원본 및 재구성된 이미지 간에 순환 일치성 손실이 적용되어 콘텐츠 구조를 유지한다.
• 재구성된 흐린 이미지와 흐림 제거 이미지에 대해 적대적 손실이 적용되어 현실감을 향상시키고, 잡음 감소를 위해 지각 손실이 적용된다.
• 모델은 두 도메인의 쌍화되지 않은 데이터를 사용하여 비지도 방식으로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 분리 표현 학습이 쌍화된 훈련 데이터 없이도 비지도 도메인 특화 흐림 제거 성능을 향상시키는 데 기여하는가?
• RQ2 KL 발산 정규화가 흐림 특징이 콘텐츠 정보를 포함하지 않도록 보장하는 데 얼마나 효과적인가?
• RQ3 순환 일치성과 적대적 손실이 함께 작용하여 재구성된 출력의 콘텐츠 구조 유지 및 현실감 향상에 기여하는가?
• RQ4 실제 얼굴 및 텍스트 흐림 제거에서 최신 기술 수준의 비지도 및 지도 학습 방법과 비교해 본 결과, 이 방법의 성능은 어떠한가?
• RQ5 얼굴 인식 및 OCR 정확도로 측정했을 때, 복원된 출력이 의미 정보를 얼마나 잘 유지하는가?

주요 결과

• 제안된 방법은 얼굴 흐림 제거에서 경쟁적인 성능을 달성하며, 시각적 품질과 구조적 유지 측면에서 CycleGAN 및 일반적인 CNN 기반 방법을 능가한다.
• BMVC_Text 데이터셋에서, 이 방법은 비지도 학습임에도 불구하고 최신 기술 수준의 지도 학습 방법과 유사한 OCR 오류율을 달성한다.
• 모델은 배경의 선명한 질감과 얼굴 세부 정보를 성공적으로 복원하여 Deep Semantic Face Deblurring와 같은 방법에서 관찰되는 과도한 부드러움을 피한다.
• 실제 흐린 텍스트 이미지에서, 이 방법은 대부분의 텍스트 내용을 정확히 복원하며, 파란 잡음을 유발하거나 가독성이 떨어지는 텍스트를 복원하지 못하는 CycleGAN 및 기존 방법보다 뛰어난 성능을 보인다.
• 절단 실험을 통해 KL 손실, 순환 일치성, 적대적, 지각 손실 각각이 성능 향상에 기여한다는 것이 확인되었다.
• 이 방법은 실제 이미지에 대해 강력한 일반화 능력을 보이며, 얼굴 및 텍스트 흐림 제거 작업 모두에서 시각적으로 타당한 결과를 도출한다.