[논문 리뷰] Painting Outside the Box: Image Outpainting with GANs

Mark Sabini, Gili Rusak|arXiv (Cornell University)|2018. 08. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 6인용 수 27

한 줄 요약

이 논문은 원래 경계를 초월해 현실적인 이미지 확장을 생성하는 GAN 기반 접근법을 제안한다. 전역 및 국소 판별기와 함께 삼단계 학습 스케줄을 사용함으로써 128×128 이미지에 대해 안정적이고 고품질의 아웃페aint을 구현하며, 국소 판별기를 사용할 경우 더 자연스러운 질감과 개선된 정밀도를 확보한 채 반복적인 아웃페aint을 가능하게 한다.

ABSTRACT

The challenging task of image outpainting (extrapolation) has received comparatively little attention in relation to its cousin, image inpainting (completion). Accordingly, we present a deep learning approach based on Iizuka et al. for adversarially training a network to hallucinate past image boundaries. We use a three-phase training schedule to stably train a DCGAN architecture on a subset of the Places365 dataset. In line with Iizuka et al., we also use local discriminators to enhance the quality of our output. Once trained, our model is able to outpaint $128 imes 128$ color images relatively realistically, thus allowing for recursive outpainting. Our results show that deep learning approaches to image outpainting are both feasible and promising.

연구 동기 및 목표

• 이미지 아웃페aint이라는 상대적으로 미처 다루지 않은 과제를 해결하기 위해, 기존 경계를 초월해 현실적인 이미지 확장을 생성하는 것.
• 이미지 인페인팅에서의 적대적 학습 기법을 더 도전적인 아웃페aint 환경에 적응시키기 위해.
• 삼단계 학습 스케줄과 아키텍처 개선을 통해 아웃페aint을 위한 GAN 학습을 안정화시키기 위해.
• 국소 판별기와 확장 컨볼루션의 영향을 생성 품질과 안정성에 미치는 바를 평가하기 위해.
• 파ano 만들기 및 영상 확장과 같은 응용 분야를 위해 반복적인 아웃페aint을 가능하게 하기 위해.

제안 방법

• DCGAN 아키텍처를 사용하며, 인코더-디코더 구조의 생성기와 이진 분류를 위한 스트라이드 컨볼루션을 사용하는 판별기를 갖춘다.
• 삼단계 학습 스케줄을 적용한다: 1단계는 MSE 손실을 사용한 생성기의 사전 학습, 2단계는 적대적 손실을 사용한 판별기 학습, 3단계는 병합된 손실 함수를 사용한 생성기와 판별기의 동시 최적화.
• 생성기 손실은 MSE 재구성 손실과 적대적 손실을 조합한다: $\mathcal{L}_{G} = \mathcal{L}_{\mathrm{MSE}} - \alpha \cdot \log D(G(I_p))$.
• 국소 판별기를 도입하여 아웃페aint된 영역에 집중함으로써, 전역 판별기만 사용할 경우에 비해 질감과 색상 정밀도를 향상시킨다.
• 생성기에서 확장 컨볼루션을 사용하여 수용장역을 확장하고 이미지 경계를 초월한 효과적인 외삽을 가능하게 한다.
• 사전 처리 단계에서는 중심 영역을 마스킹하고, 외곽 픽셀을 마스킹되지 않은 영역의 평균으로 대체하며, 마스킹된 이미지와 마스크를 연결하여 4채널 입력을 구성한다.

실험 결과

연구 질문

• RQ1 GAN이 이미지 인페인팅보다 덜 다뤄진 과제인 이미지 아웃페aint에 효과적으로 적용될 수 있는가?
• RQ2 기본 GAN 학습 방식에 비해 삼단계 학습 스케줄이 아웃페aint GAN의 학습 안정성에 기여하는가?
• RQ3 국소 판별기의 포함 여부가 아웃페aint된 이미지의 시각적 품질과 현실감에 어떤 영향을 미치는가?
• RQ4 확장 컨볼루션은 이미지 경계를 초월한 외삽 능력 향상에 어느 정도 기여하는가?
• RQ5 여러 반복 단계를 거쳐도 안정적이고 현실적인 결과를 얻을 수 있는 반복적인 아웃페aint이 가능한가?

주요 결과

• 삼단계 학습 스케줄은 학습 안정성에 크게 기여하였으며, 1단계에서는 MSE 손실이 급격히 감소하고 3단계에서는 동시 최적화로 인해 약간 증가하였다.
• 국소 판별기를 사용한 학습은 수직 밴딩을 감소시키고 색상 정밀도를 향상시켜 전역 판별기만 사용한 경우에 비해 더 낮은 RMSE를 기록하였다.
• 국소 판별기는 학습 시간을 약 60% 증가시키고 더 많은 점 아티팩트를 유발하여 품질과 효율성 사이의 상충 관계를 보였다.
• 확장 컨볼루션은 성공적인 아웃페aint을 위해 필수적이었으며, 충분한 확장 없이선 수용장역이 제한되어 이미지 재구성에 실패하였다.
• 다섯 번의 반복 아웃페aint을 통해 이미지 너비가 3.5배로 확장되었고, 복합화된 노이즈에도 불구하고 일반적인 질감과 현실감을 유지하였다.
• 모델은 128×128 컬러 이미지에 대해 현실적인 아웃페aint을 달성하였으며, 딥 러닝 기반 이미지 외삽의 가능성과 잠재력을 입증하였다.