[논문 리뷰] Generative Adversarial Image Synthesis with Decision Tree Latent Controller

Takuhiro Kaneko, Kaoru Hiramatsu외 1명|arXiv (Cornell University)|2018. 05. 27.

Generative Adversarial Networks and Image Synthesis인용 수 3

한 줄 요약

이 논문은 결정트리 잠재 제어기(DTLC)를 통해 계층적으로 해석 가능한 표현을 학습하는 생성적 적대적 네트워크인 DTLC-GAN을 제안한다. 이는 세부 지도 없이도 굵기에서 세밀한 이미지 생성을 가능하게 한다. 계층적 조건부 상호정보 정규화와 커리큘럼 학습 전략을 통합함으로써, 다양한 레이어 간의 의미적 특징을 분리시켜, CIFAR-10에서 8.80의 최고 수준의 인ception 스코어를 달성하고, 더 나은 속성 기반 SSIM 스코어를 통해 효과적인 이미지 검색을 실현한다.

ABSTRACT

This paper proposes the decision tree latent controller generative adversarial network (DTLC-GAN), an extension of a GAN that can learn hierarchically interpretable representations without relying on detailed supervision. To impose a hierarchical inclusion structure on latent variables, we incorporate a new architecture called the DTLC into the generator input. The DTLC has a multiple-layer tree structure in which the ON or OFF of the child node codes is controlled by the parent node codes. By using this architecture hierarchically, we can obtain the latent space in which the lower layer codes are selectively used depending on the higher layer ones. To make the latent codes capture salient semantic features of images in a hierarchically disentangled manner in the DTLC, we also propose a hierarchical conditional mutual information regularization and optimize it with a newly defined curriculum learning method that we propose as well. This makes it possible to discover hierarchically interpretable representations in a layer-by-layer manner on the basis of information gain by only using a single DTLC-GAN model. We evaluated the DTLC-GAN on various datasets, i.e., MNIST, CIFAR-10, Tiny ImageNet, 3D Faces, and CelebA, and confirmed that the DTLC-GAN can learn hierarchically interpretable representations with either unsupervised or weakly supervised settings. Furthermore, we applied the DTLC-GAN to image-retrieval tasks and showed its effectiveness in representation learning.

연구 동기 및 목표

• 세부 레이블이나 지도 없이도 계층적으로 해석 가능한 표현을 학습하는 딥 생성 모델을 개발하는 것.
• 계층적 포함을 강제하는 결정트리 아키텍처를 통해 잠재 변수를 구조화하여 굵기에서 세밀한 이미지 생성을 가능하게 하는 것.
• 클래스 수준 또는 약한 지도만을 사용하여, 레이어 간, 레이어 내부, 제어 타겟 간의 의미적 특징을 분리시키는 것.
• 분리된 계층적 잠재 공간을 활용하여 이미지 검색과 같은 후속 작업의 표현 학습을 향상시키는 것.

제안 방법

• 자식 노드 코드가 부모 노드가 켜져 있을 때에만 활성화되는 다층 트리 구조인 결정트리 잠재 제어기(DTLC)를 도입하여, 잠재 공간 내에서 계층적 포함을 강제한다.
• 각 수준에서 정보 수익을 최대화함으로써 레이어 간 의미적 특징의 분리를 장려하기 위해 계층적 조건부 상호정보(HCMI) 정규화를 제안한다.
• 모델을 상단 레이어부터 시작하여 단계적으로 하위 레이어를 추가하는 방식으로 훈련하는 커리큘럼 학습 방법을 설계하여 훈련 안정성과 분리된 특징의 향상에 기여한다.
• 훈련 안정성을 확보하기 위해 WGAN-GP와 기울기 페널티를 사용하고, 인ception 스코어와 SSIM 기반 검색 메트릭을 사용해 성능을 평가한다.
• 후속 이미지 검색 작업을 위해 잠재 코드 $\hat{\bm{c}}_l$ 를 예측하는 보조 네트워크 $Q_l$ 를 활용한다.
• 이중적인 잠재 코드와 연속적인 잠재 코드 양쪽 모두에 모델를 적용하여, 3D Faces 및 CelebA 데이터셋에서 카테고리 기반 제어를 성공적으로 구현한다.

실험 결과

연구 질문

• RQ1 클래스 수준의 레이블 외에 세부 지도가 없이도 GAN이 계층적으로 분리된 표현을 학습할 수 있는가?
• RQ2 결정트리 구조의 잠재 제어기가 계층적 포함을 강제하고 굵기에서 세밀한 이미지 생성을 가능하게 하는가?
• RQ3 계층적 조건부 상호정보 정규화가 다중 레이어 간 의미적 특징의 분리를 향상시키는가?
• RQ4 제안된 커리큘럼 학습 방법이 훈련을 안정화시키고 계층적으로 해석 가능한 표현을 효과적으로 탐색하는가?
• RQ5 학습된 계층적 잠재 공간이 이미지 검색 작업의 성능을 향상시키는가?

주요 결과

• DTLC-GAN은 CIFAR-10에서 클래스 레이블만을 사용해 8.80의 인ception 스코어를 달성하여, 약한 지도 하에서 이전 방법들을 능가한다.
• CelebA 데이터셋에서 첫 번째 레이어에서 0.150이었던 속성 기반 SSIM 스코어는 세 번째 레이어에서 안경이 있는 경우 0.265로, 미소 표정이 있는 경우 0.326로 향상되어 의미적 속성과의 일치도가 높아짐을 시사한다.
• 모델은 제어 가능한 변형을 갖는 다양하고 고해상도의 이미지를 성공적으로 생성한다. 예를 들어, 두 번째 레이어 코드를 변경하면 안경의 종류와 같은 넓은 속성이 영향을 받고, 하위 레이어 코드는 림 두께와 같은 세부 사항을 정밀하게 조정한다.
• 3D Faces 데이터셋에서 연속적 코드를 사용한 DTLC-GAN은 높은 수준의 분류 코드에 조건부한 포즈 기반 의미적 특징을 학습하는 데 성공했으며, 이는 평탄한 InfoGAN과 달리 코드 간 독립성이 없음을 의미한다.
• 커리큘럼 학습 방법은 안정적인 훈련과 효과적인 계층적 표현 탐색을 가능하게 하며, 깊이 있는 레이어가 추가될수록 성능이 향상됨을 보였다.
• 계층적 코드를 활용한 이미지 검색 결과, 더 깊은 레이어에서 쿼리 속성과의 일치도가 높아져, 분리된 잠재 공간의 실용성을 확인했다.