[논문 리뷰] Deformable Generator Networks: Unsupervised Disentanglement of Appearance and Geometry

Xianglei Xing, Ruiqi Gao외 3명|arXiv (Cornell University)|2018. 06. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 60인용 수 21

한 줄 요약

이 논문은 학습에 대한 지도 없이 이미지 및 영상에서 외관과 기하적 요소를 분리하는 데미포매블 제너레이터 네트워크를 제안한다. 이는 학습 가능한 변형 필드를 통해 외관과 기하 변형을 각각 처리하는 두 개의 독립적인 생성 네트워크를 사용한다. 이 방법은 최신 기준을 충족하는 분리 성능를 달성하며, 유사한 구조적 규칙성을 가진 데이터셋 간에 기하 표현을 이식 가능하게 한다.

ABSTRACT

We present a deformable generator model to disentangle the appearance and geometric information for both image and video data in a purely unsupervised manner. The appearance generator network models the information related to appearance, including color, illumination, identity or category, while the geometric generator performs geometric warping, such as rotation and stretching, through generating deformation field which is used to warp the generated appearance to obtain the final image or video sequences. Two generators take independent latent vectors as input to disentangle the appearance and geometric information from image or video sequences. For video data, a nonlinear transition model is introduced to both the appearance and geometric generators to capture the dynamics over time. The proposed scheme is general and can be easily integrated into different generative models. An extensive set of qualitative and quantitative experiments shows that the appearance and geometric information can be well disentangled, and the learned geometric generator can be conveniently transferred to other image datasets to facilitate knowledge transfer tasks.

연구 동기 및 목표

• 이미지 및 영상 데이터에서 지도 없이 외관과 기하의 분리되고 해석 가능한 표현을 학습하는 것.
• 색상, 정체성, 조명 등의 외관 요소와 회전, 스케일링, 형태 등의 기하 요소를 독립적인 잠재 벡터를 통해 분리하는 것.
• 유사한 구조적 규칙성을 가진 다른 데이터셋으로 기하 표현을 전이할 수 있도록 하는 것.
• 외관 및 기하 요소의 잠재 요소의 시간적 변화를 비선형 전이 모델로 모델링하여 영상 데이터의 시간적 동역학을 처리하는 것.
• 다양한 딥 생성 모델과 호환 가능한 일반화된 프레임워크를 제공하는 것.

제안 방법

• 모델은 두 개의 별도의 제너레이터 네트워크를 사용한다: 하나는 이미지 강도를 생성하는 외관 제너레이터이고, 다른 하나는 조밀한 2차원 변형 필드를 생성하는 기하 제너레이터이다.
• 기하 제너레이터는 픽셀당 이동 벡터를 출력하며, 이를 공간 변환기 레이어를 통해 외관 특징 맵을 미분 가능하게 기하학적으로 왜곡하는 데 사용한다.
• 외관과 기하를 각각 제어하는 독립적인 잠재 벡터 $ Z^a $ 와 $ Z^g $ 가 사용되어 분리된 생성이 가능해진다.
• 영상 데이터의 경우, 외관 및 기하 스트림의 잠재 요소의 시간적 진화를 모델링하기 위해 비선형 전이 모델이 도입된다.
• 학습은 변분 추론 목표 함수와 균형 매개변수 $ \beta $ 를 사용하여 모델 파라미터와 잠재 변수를 모두 역전파하는 방식으로 번갈아가며 수행된다.
• 이 프레임워크는 통합된 확률 모델에 통합되어, 두 제너레이터와 왜곡 연산을 모두 거쳐 백프로파게이션을 통해 엔드 투 엔드 학습이 가능하다.

실험 결과

연구 질문

• RQ1 이미지 및 영상 데이터에서 완전히 지도 없이 외관과 기하 요소를 효과적으로 분리할 수 있는가?
• RQ2 유사한 구조적 규칙성을 가진 다른 데이터셋으로 학습된 기하 제너레이터를 전이할 수 있는가?
• RQ3 비지도 학습으로서 모델은 영상 시퀀스에서 동적인 외관 및 기하 변화를 얼마나 잘 포착할 수 있는가?
• RQ4 기존의 생성 모델에 비해 변형 필드를 사용함으로써 분리 성능가 향상되는가?
• RQ5 개별 잠재 요소를 조작함으로써 제어 가능한 이미지/영상 생성이 가능한가?

주요 결과

• 제안된 방법은 정성적 및 정량적 평가를 통해 이미지 및 영상 데이터에서 외관과 기하의 잘 분리된 표현을 달성한다.
• 한 데이터셋에서 학습된 기하 제너레이터는 유사한 구조적 규칙성을 가진 다른 데이터셋으로 성공적으로 전이되어 효과적인 제로샷 지식 전이를 가능하게 한다.
• 동적 변형 가능한 제너레이터 모델은 비트래킹 가능한 운동(외관 전이를 통해)과 트래킹 가능한 운동(기하 전이를 통해)을 영상 시퀀스에서 효과적으로 포착한다.
• $ \beta = 0.3 $ 일 때, 재구성과 분리 간의 균형을 확보하여 고품질의 분리된 샘플을 생성한다.
• 변형 필드 메커니즘은 기하 변형에 대한 명시적 제어를 가능하게 하여 기존의 GAN이나 VAE에 비해 더 높은 이해 가능성과 분리 성능를 제공한다.
• 모델은 잘 일반화되며 다양한 생성 아키텍처에 통합 가능하여 넓은 적용 가능성을 보여준다.