[논문 리뷰] Controllable Semantic Image Inpainting

Jin Xu, Yee Whye Teh|arXiv (Cornell University)|2018. 06. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 5인용 수 5

한 줄 요약

이 논문은 사용자가 지정한 고수준 의미를 기반으로 의미적으로 일관되고 국소적으로 일관된 이미지 보정을 생성하는 제어 가능한 의미 기반 이미지 보간 방법을 제안한다. 이는 해석 가능한 잠재 제어를 위한 분리된 변분 오토에인드어와 세부적이고 맥락 인지적인 생성을 위한 이방향 피ixeLcnn을 결합하여, 후처리 또는 적대적 훈련 없이도 사용자 제어가 가능한 고품질의 보간을 달성한다.

ABSTRACT

We develop a method for user-controllable semantic image inpainting: Given an arbitrary set of observed pixels, the unobserved pixels can be imputed in a user-controllable range of possibilities, each of which is semantically coherent and locally consistent with the observed pixels. We achieve this using a deep generative model bringing together: an encoder which can encode an arbitrary set of observed pixels, latent variables which are trained to represent disentangled factors of variations, and a bidirectional PixelCNN model. We experimentally demonstrate that our method can generate plausible inpainting results matching the user-specified semantics, but is still coherent with observed pixels. We justify our choices of architecture and training regime through more experiments.

연구 동기 및 목표

• 기존 의미 기반 보간 방법에서의 사용자 제어 부족 문제를 해결하기 위해, 결정론적 출력을 생성하거나 상호작용 제어 기능이 없는 경우를 대비한다.
• 이미지 보간 중 고수준 의미(예: 객체 유형, 색상, 자세)를 사용자가 조작할 수 있도록 하되, 국소 텍스처 및 구조적 일관성을 유지한다.
• 포isson 블렌딩이나 적대적 훈련과 같은 후처리 기법이 필요 없도록, 생성 결과의 내재적 일관성을 확보함으로써 이를 제거한다.
• 분리된 해석 가능한 잠재 표현과 고해상도 생성에 강력한 자동회귀 디코더를 지원하는 훈련 제도를 설계한다.

제안 방법

• 관측된 이미지 패치를 분리된 잠재 공간으로 인코딩하기 위해 분리된 PixelVAE를 사용하며, 각 차원이 해석 가능한 의미 요소에 해당한다.
• 전방 및 역방향 래스터 스캔 순서에서 픽셀 간 의존성을 모델링하는 이방향 PixelCNN을 활용하여 주변 관측 픽셀로부터 국소 세부 사항과 텍스처를 포착한다.
• 이중 단계 훈련 절차를 도입: 먼저 완전한 이미지에서 분리된 VAE를 사전 훈련한 후, 마스크 처리된 이미지에서 VAE와 이방향 PixelCNN를 함께 미세조정한다.
• 잠재 공간 내의 분리성과 표현 능력을 동시에 확보하기 위해 InfoVAE-MMD 목적함수를 적용한다.
• 추론 중에 잠재 변수를 조작함으로써 사용자 제어를 가능하게 하여 다양한 의미적으로 일관된 보간 결과를 생성한다.
• 구조적 사전 확률를 기반으로 재구성 오차를 최소화하는 변분 추론 프레임워크를 사용하며, 이는 맥락과 잠재 코드를 모두 활용하는 사후 근사에 기반한다.

실험 결과

연구 질문

• RQ1 심층 생성 모델은 사용자가 지정한 의미를 기반으로 의미적으로 일관되고 국소적으로 일관된 이미지 보정 결과를 제어 가능한 방식으로 생성할 수 있는가?
• RQ2 강력한 자동회귀 디코더와 결합된 변분 오토에인드어 프레임워크에서 분리된 해석 가능한 잠재 변수를 효과적으로 학습할 수 있는가?
• RQ3 이중 단계 훈련이 이미지 보정에서 잠재 공간의 분리성 향상과 제어 가능성에 미치는 영향은 무엇인가?
• RQ4 이방향 자동회귀 모델링은 적대적 손실이나 후처리 없이도 국소 세부 사항 생성을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 후처리나 적대적 훈련 없이도 사용자가 지정한 의미와 일치하는 다양한 의미적으로 일관된 보간 결과를 생성한다.
• 이중 단계 훈련은 단일 단계 훈련에 비해 생성 결과의 다양성과 제어 가능성에 크게 기여하며, 노이즈와 마스크에 의존하는 잡음 요소를 감소시킨다.
• 잠재 코드 이동 분석을 통해 색조, 성별, 얼굴 폭, 시야각과 같은 해석 가능한 분리된 요소를 확인하여 모델이 고수준 의미를 효과적으로 분리함을 입증한다.
• 손상된 영역이 크더라도 제한된 맥락 속에서도 전반적인 의미적 요소(예: 얼굴 폭, 시야각)를 효과적으로 유지하여 강력한 의미 일반화 능력을 보여준다.
• 이방향 PixelCNN는 국소 텍스처와 세부 사항을 효과적으로 포착하여 외부 블렌딩 기법에 의존하지 않고도 공간 일관성을 확보한다.
• 단일 단계 훈련은 잠재 변수가 목표 영역만을 표현하도록 학습하여 마스크에 의존하고 일반화 능력이 떨어지며, 노이즈가 많거나 일관성 없는 결과를 초래한다.