[논문 리뷰] Improving Consistency and Correctness of Sequence Inpainting using Semantically Guided Generative Adversarial Network

Avisek Lahiri, Arnav Jain외 2명|arXiv (Cornell University)|2017. 11. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 5

한 줄 요약

이 논문은 얼굴의 자동 추출된 의미 정보에 조건을 두어 일致성과 정확성을 향상시키는 의미 지도형 생성 적대적 네트워크(SG-GAN)를 제안한다. 자세와 외형 정보를 분리함으로써 모델은 시간적으로 일관되고 고해상도의 얼굴 복원을 생성하며, CelebA 및 YouTube Faces 데이터셋에서 64×64 및 128×128 해상도에서 DIP와 같은 기준 GAN 모델보다 PSNR 및 일관성 지표에서 뛰어난 성능을 보인다.

ABSTRACT

Contemporary benchmark methods for image inpainting are based on deep generative models and specifically leverage adversarial loss for yielding realistic reconstructions. However, these models cannot be directly applied on image/video sequences because of an intrinsic drawback- the reconstructions might be independently realistic, but, when visualized as a sequence, often lacks fidelity to the original uncorrupted sequence. The fundamental reason is that these methods try to find the best matching latent space representation near to natural image manifold without any explicit distance based loss. In this paper, we present a semantically conditioned Generative Adversarial Network (GAN) for sequence inpainting. The conditional information constrains the GAN to map a latent representation to a point in image manifold respecting the underlying pose and semantics of the scene. To the best of our knowledge, this is the first work which simultaneously addresses consistency and correctness of generative model based inpainting. We show that our generative model learns to disentangle pose and appearance information; this independence is exploited by our model to generate highly consistent reconstructions. The conditional information also aids the generator network in GAN to produce sharper images compared to the original GAN formulation. This helps in achieving more appealing inpainting performance. Though generic, our algorithm was targeted for inpainting on faces. When applied on CelebA and Youtube Faces datasets, the proposed method results in a significant improvement over the current benchmark, both in terms of quantitative evaluation (Peak Signal to Noise Ratio) and human visual scoring over diversified combinations of resolutions and deformations.

연구 동기 및 목표

• GAN 기반 이미지 시퀀스 복원에서 독립적인 프레임 복원으로 인한 깜빡임과 구조적 불일치를 야기하는 시간적 일관성의 부족을 해결하기 위해.
• 얼굴 랜드마크 및 표정과 같은 의미 사전을 기반으로 GAN 생성자에 조건을 주어 복원 정확성을 향상시키기 위해.
• 잠재 공간에서 자세와 외형 요소를 분리하여 더 충실하고 제어 가능한 생성을 가능하게 하기 위해.
• 복원 과정에서 표정과 질감과 같은 얼굴 의미를 영상 프레임 간에 유지할 수 있는 프레임워크를 개발하기 위해.
• 제어된 데이터셋을 넘어서 실제 영상 응용 분야에서 의미 조건이 얼마나 유용한지 입증하기 위해.

제안 방법

• 사전 훈련된 얼굴 랜드마크 검출기를 통해 추출된 의미 임베딩에 조건을 두는 의미 조건 기반 GAN 아키텍처를 제안한다.
• 의미 임베딩은 생성자에게 자세와 외형을 프레임 간에 유지하도록 안내하는 조건부 사전 지식 역할을 한다.
• 모델은 잠재 공간에서 외형과 자세 정보를 분리하여 다양한 변형 조건에서도 일관된 생성을 가능하게 한다.
• 시간적 일관성을 측정하기 위해 일관성 손실을 도입하였으며, 낮은 값일수록 더 높은 일관성을 의미한다.
• 생성자는 적대적 손실, 인지적 손실, 그리고 새로운 의미 일관성 손실을 사용하여 현실감과 구조적 정밀도를 향상시킨다.
• 정량적 지표(PSNR, 일관성)와 인간 평가를 통해 CelebA 및 YouTube Faces 데이터셋에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 의미 조건이 GAN 기반 시퀀스 복원에서 시간적 일관성을 향상시키는 데 기여하는가?
• RQ2 얼굴의 의미 정보에 조건을 두면 복원 정확성과 시각적 품질이 향상되는가?
• RQ3 모델이 자세와 외형 요소를 분리하여 영상 프레임 간에 더 안정적이고 현실적인 생성을 가능하게 하는가?
• RQ4 DIP와 같은 최신 GAN 기반 복원 모델과 비교해 PSNR 및 일관성 지표에서 본 모델의 성능은 어떠한가?
• RQ5 모델은 피팅 없이도 도메인 이탈이 발생하는 실제 영상 시퀀스, 예를 들어 YouTube Faces와 같은 환경에서도 일반화 가능한가?

주요 결과

• 64×64 해상도에서, 무작위 중심 마스크에 대해 DIP 대비 평균 일관성 향상이 4.62 dB로 나타났으며, p-value ≤ 10−5로 통계적으로 유의미하다.
• 128×128 해상도에서, 무작위 중심 마스크에 대해 DIP 대비 1.84 dB, 수동 마스크에 대해 3.2 dB, 일정한 왼쪽 마스크에 대해 1.05 dB의 일관성 향상을 기록했다.
• YouTube Faces 데이터셋의 Gary Bettman에 대해 PSNR 26.15 dB, Elizabeth Hurley에 대해 23.67 dB를 기록했으며, DIP의 22.48 dB 및 13.05 dB보다 유의미하게 뛰어났다.
• 시각적 분석 결과, 모델은 프레임 간에 표정, 눈의 열림 정도, 피부 질감을 유지하며 DIP에서 관찰된 깜빡임과 급격한 변화를 방지함을 확인했다.
• 무작위 중심 자르기, 수동 마스크, 일정한 왼쪽 부위 손상 등 다양한 변형 유형에 대해 강건한 성능을 보였다.
• 의미 조건이 외형과 자세를 분리하는 데 기여하여, 생성 과정에서 정체성과 표정의 일관성을 유지할 수 있었다.