[논문 리뷰] DNA-GAN: Learning Disentangled Representations from Multi-Attribute Images

Taihong Xiao, Jiapeng Hong외 1명|arXiv (Cornell University)|2017. 11. 15.

Digital Media Forensic Detection참고 문헌 15인용 수 34

한 줄 요약

DNA-GAN은 다중 속성 이미지에서 서로 다른 속성을 별도로 독립된 잠재공간 성분에 할당함으로써 DNA 유사한 분리된 잠재 표현을 학습하는 지도형 생성 모델이다. 이러한 속성 전용 성분을 제거하고 교환함으로써 모델은 제어 가능한 속성 변화를 가진 현실적인 이미지를 생성하며, Multi-PIE 및 CelebA 데이터셋에서 기존 방법에 비해 뛰어난 분리도와 이미지 품질을 달성한다.

ABSTRACT

Disentangling factors of variation has become a very challenging problem on representation learning. Existing algorithms suffer from many limitations, such as unpredictable disentangling factors, poor quality of generated images from encodings, lack of identity information, etc. In this paper, we propose a supervised learning model called DNA-GAN which tries to disentangle different factors or attributes of images. The latent representations of images are DNA-like, in which each individual piece (of the encoding) represents an independent factor of the variation. By annihilating the recessive piece and swapping a certain piece of one latent representation with that of the other one, we obtain two different representations which could be decoded into two kinds of images with the existence of the corresponding attribute being changed. In order to obtain realistic images and also disentangled representations, we further introduce the discriminator for adversarial training. Experiments on Multi-PIE and CelebA datasets finally demonstrate that our proposed method is effective for factors disentangling and even overcome certain limitations of the existing methods.

연구 동기 및 목표

• 이미지 표현에서 다중 시각적 속성을 분리하여 더 나은 해석 가능성과 제어성을 확보하기 위한 과제를 해결하기 위해.
• 기존 방법의 한계, 예를 들어 단순한 해결책, 낮은 이미지 품질, 속성 조작 중 신원 유지의 부족을 극복하기 위해.
• 특정 속성에 맞는 잠재 성분을 제거하고 교환하는 연산을 통해 제어 가능한 이미지 생성을 가능하게 하기 위해.
• 반복적 훈련 전략을 통해 불균형한 다중 속성 데이터셋에서 훈련 효율성과 분리도를 향상시키기 위해.
• 라벨이 부여된 속성 데이터를 활용하여 특정 의미를 분리된 잠재 요인에 고정시키는 지도형 프레임워크를 제공하기 위해.

제안 방법

• 모델은 깊은 인코더를 사용하여 잠재 표현을 속성 관련 및 속성 비관련 부분으로 분리하며, 각 속성은 별도로 독립된 성분에 할당된다.
• 제거 연산은 특정 속성 성분을 선택적으로 억제하여 기여도를 분리하고, 한 성분이 전체 이미지를 인코딩하는 단순한 해결책을 방지한다.
• 두 개의 인코딩된 표현 간에 성분을 교환함으로써 속성 혼합을 달성하며, 새로운 속성을 가진 이미지를 생성한다.
• 판별자와 함께 적대적 훈련을 통해 고해상도 이미지 복원 및 생성을 보장하고, 복원 손실을 통해 구조적 세부 정보를 유지한다.
• 불균형한 데이터셋을 다루기 위해 반복적 훈련 전략을 적용하여 랜덤 쌍 샘플링 대비 수렴성과 분리도 효율성을 향상시킨다.
• 모델은 지도형 레이블을 활용하여 분리도를 유도하며, 각 잠재 성분이 특정 해석 가능한 속성에 대응하도록 보장한다.

실험 결과

연구 질문

• RQ1 지도형 딥 생성 모델은 각 잠재 성분이 하나의 명확한 해석 가능한 속성에 대응하는 분리된 표현을 학습할 수 있는가?
• RQ2 제거 및 교환과 같은 잠재공간 연산을 통해 특정 속성 조작을 어떻게 달성할 수 있는가?
• RQ3 제안된 반복적 훈련 전략은 불균형한 다중 속성 데이터셋에서 분리도와 모델 성능을 향상시키는가?
• RQ4 DNA-GAN은 신원과 배경 정보를 유지하면서 정밀한 속성 제어가 가능한 현실적인 이미지를 생성할 수 있는가?
• RQ5 분리도 품질과 이미지 정밀도 측면에서 TD-GAN 및 IcGAN과 같은 최신 기법에 비해 DNA-GAN은 어떻게 비교되는가?

주요 결과

• DNA-GAN은 번개, 안경, 미소와 같은 다수의 속성을 분리된 독립된 잠재 표현 성분으로 성공적으로 분리하였다.
• 제거 및 교환 연산을 통해 정밀한 속성 편집이 가능하며, 목표로 한 속성 외에는 변경되지 않은 현실적인 이미지를 생성하였다.
• CelebA 데이터셋에서 DNA-GAN은 이미지 품질과 분리도 측면에서 TD-GAN 및 IcGAN를 능가했으며, 단순한 해결책과 열악한 생성 성능을 피했다.
• 잠재공간 내의 보간은 번개와 안경과 같은 속성 간에 명확한 분리도를 보이며 부드러운 전이를 보였다.
• 모델은 훈련 세트에 존재하지 않는 새로운 헤어스타일을 가진 이미지를 생성함으로써 훈련된 데이터에 대한 일반화 능력이 뛰어나다는 것이 입증되었다.
• 반복적 훈련 전략은 무작위 샘플링 대비 불균형한 데이터셋에서 분리도 효율성과 성능 향상을 향상시켰다.