[논문 리뷰] Semantic-aware Image Deblurring

Fuhai Chen, Rongrong Ji외 7명|arXiv (Cornell University)|2019. 10. 09.

Advanced Image Processing Techniques참고 문헌 48인용 수 5

한 줄 요약

이 논문은 이미지 캡션 생성에서 유도된 의미 지침을 활용하여 심각하게 흐린 이미지의 복원 성능을 햖थन하는 종단간 프레임워크인 S3E-Deblur를 제안한다. GAN 기반의 복원 생성기 내에 구조화된 의미 특징(엔티티 및 관계)을 모델링하고 임bedding하는 데 사용되는 구조적-공간적 의미 트리(S3-tree)를 도입함으로써, MSCOCO 및 GoPro 데이터셋에서 얻은 심각하게 흐린 이미지에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Image deblurring has achieved exciting progress in recent years. However, traditional methods fail to deblur severely blurred images, where semantic contents appears ambiguously. In this paper, we conduct image deblurring guided by the semantic contents inferred from image captioning. Specially, we propose a novel Structured-Spatial Semantic Embedding model for image deblurring (termed S3E-Deblur), which introduces a novel Structured-Spatial Semantic tree model (S3-tree) to bridge two basic tasks in computer vision: image deblurring (ImD) and image captioning (ImC). In particular, S3-tree captures and represents the semantic contents in structured spatial features in ImC, and then embeds the spatial features of the tree nodes into GAN based ImD. Co-training on S3-tree, ImC, and ImD is conducted to optimize the overall model in a multi-task end-to-end manner. Extensive experiments on severely blurred MSCOCO and GoPro datasets demonstrate the significant superiority of S3E-Deblur compared to the state-of-the-arts on both ImD and ImC tasks.

연구 동기 및 목표

• 의미적 내용이 모호하고 기존 방법이 실패하는 심각하게 흐린 이미지 복원 문제를 해결한다.
• 공유된 의미 표현을 사용해 이미지 복원(ImD)과 이미지 캡션(ImC)을 통합 최적화하여 두 작업 간 다리를 놓는다.
• 흐린 이미지 내의 엔티티와 관계를 포착하고 표현하는 구조적이고 공간 인식 능력을 갖춘 의미 임베딩 모델을 개발한다.
• 종단간 훈련 중 언어 기반 의미 사전 지식을 활용해 복원된 이미지의 정확성과 강건성을 향상시킨다.
• 향후 연구를 지원하기 위해 공개 가능한 첫 번째 심각하게 흐린 이미지 데이터셋을 제작한다.

제안 방법

• 흐린 이미지의 깊이 특징에서 의미 콘텐츠(엔티티 및 관계)를 분석하고 표현하기 위해 구조적-공간적 의미 트리(S3-tree)를 제안한다.
• S3-tree 구조 내에서 엔티티의 특징 맵을 분리하고 관계 특징을 집계하기 위해 컨volutional 디커플링을 적용한다.
• S3-tree 노드의 공간적 특징 맵을 GAN 기반 이미지 복원 네트워크의 생성기 내에 임bedding하여 복원 품질을 향상시킨다.
• 이미지 캡션 브랜치의 RNN 디코더에 예측된 의미 확률 분포(엔티티/관계)를 주목시켜 캡션 품질을 향상시킨다.
• 재구성, 적대적, 분류 손실의 공동 최적화를 통해 S3-tree, 이미지 캡션, 이미지 복원 브랜치를 종단간으로 공동 훈련한다.
• 두 작업(복원 및 캡션) 모두에 사용 가능한 공통 CNN 기반 백본을 사용해 깊이 특징을 추출함으로써 다중 작업 간 특징 공유를 가능하게 한다.

실험 결과

연구 질문

• RQ1 이미지 캡션에서 도출된 의미 지침이 심각하게 흐린 이미지의 복원 품질을 크게 향상시킬 수 있는가?
• RQ2 구조화된 의미 트리 모델(S3-tree)이 매우 흐린 이미지 내에서 모호한 의미 콘텐츠를 효과적으로 포착하고 표현할 수 있는가?
• RQ3 이미지 복원과 이미지 캡션 간의 공동 다중 작업 학습이 단일 작업 기반 베이스라인 대비 두 작업의 성능을 향상시키는가?
• RQ4 제안된 S3-tree 모델이 GoPro 데이터셋과 같은 실제 흐린 이미지에서 복잡한 운동 흐림을 다룰 수 있는가?
• RQ5 의미 임베딩을 통한 종단간 공동 훈련이 복원 출력의 잡음과 구조적 정확성 향상에 미치는 영향은 무엇인가?

주요 결과

• S3E-Deblur는 MSCOCO의 Sev-BlurData 서브셋에서 DeblurGAN 및 U-Deconv보다 이미지 복원 및 이미지 캡션 작업 모두 최신 기술 수준의 성능을 달성한다.
• 심각하게 흐린 GoPro 데이터셋에서 S3E-Deblur는 PSNR 29.12와 SSIM 0.878를 기록했으며, DeblurGAN(PSNR: 27.89, SSIM: 0.842) 및 U-Deconv(PSNR: 28.15, SSIM: 0.851)보다 유의미하게 뛰어나다.
• 이미지 캡션 브랜치와 공동 훈련된 S3E-Deblur의 버전은 사전 훈련된 S3-tree를 사용한 버전보다 더 나은 복원 결과를 내보내며, 공동 최적화의 유용성을 입증한다.
• 정성적 결과에서는 S3E-Deblur가 작은 객체나 먼 거리에 있는 객체(예: 날개)의 잡음을 효과적으로 줄여 구조적 보존 능력이 향상되었음을 보여준다.
• S3-tree 모델은 높은 신뢰도로 상위 3개 의미 카테고리 정확히 예측하며, 공간적 특징 맵이 주목할 만한 이미지 영역과 잘 일치함을 확인하여 효과적인 의미 국소화를 입증한다.
• 이미지 캡션 작업에서 S3E-Deblur(ImC)는 대부분의 지표에서 최고 성능을 기록했으며, 특히 심각하게 흐린 이미지에서 뛰어난 의미 이해 능력을 보였다.