[논문 리뷰] Disentangling Multiple Conditional Inputs in GANs

Gökhan Yıldırım, Calvin Seward외 1명|arXiv (Cornell University)|2018. 06. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 12

한 줄 요약

이 논문은 일致성 손실 함수를 사용하여 패션 이미지 생성에서 색상, 텍스처, 형태 속성을 분리하는 조건부 GAN 아키텍처를 제안한다. 각 속성에 대해 별도의 입력을 조건으로 삼고, 속성별 일치성 손실을 통해 출력의 안정성을 확보함으로써 색상, 텍스처, 형태에 대해 독립적으로 제어할 수 있도록 하여 현실적이고 제어 가능한 의류 이미지 합성 및 편집을 가능하게 한다.

ABSTRACT

In this paper, we propose a method that disentangles the effects of multiple input conditions in Generative Adversarial Networks (GANs). In particular, we demonstrate our method in controlling color, texture, and shape of a generated garment image for computer-aided fashion design. To disentangle the effect of input attributes, we customize conditional GANs with consistency loss functions. In our experiments, we tune one input at a time and show that we can guide our network to generate novel and realistic images of clothing articles. In addition, we present a fashion design process that estimates the input attributes of an existing garment and modifies them using our generator.

연구 동기 및 목표

• 패션 이미지 생성을 위한 조건부 GAN에서 색상, 텍스처, 형태와 같은 다수의 시각적 속성에 대해 독립적인 제어를 가능하게 하기 위해.
• 여러 입력 조건의 영향을 분리하는 문제를 해결하기 위해, 한 속성을 변경할 때 다른 속성이 영향을 받지 않도록 하기 위해.
• 학습된 생성자로 기존 의류의 기본 속성을 추정하고 편집할 수 있도록 하는 방법을 개발하기 위해.
• 딥 러닝과 인간의 창의성을 융합하여 빠른 프로토타이핑을 위한 실용적인 설계 파이프라인을 제공하기 위해.
• 조건부 GAN을 범주형 조건화를 초월하여 패션 영상의 복잡한 시각적 속성에 대해 연속적이고 분리된 제어를 가능하게 하기 위해.

제안 방법

• 생성자는 세 가지 입력을 받는다: 3D RGB 색상 벡터, 텍스처를 위한 512D 잠재 벡터, 그리고 형태를 위한 128×128 이진 세그먼테이션 마스크로, 이 마스크는 마스크 임베딩 네트워크를 통해 512D 벡터로 변환된다.
• 판별자는 두 가지 작업을 수행한다: 실제/가짜 이미지 분류와 입력 이미지의 평균 색상 회귀, 이는 보조 분류기 GAN과 유사하지만 분류 대신 회귀를 사용한다.
• 학습을 안정화하기 위해 WGAN-GP 손실을 사용하며, 판별자의 출력을 활용해 실제 이미지 분포와 생성된 이미지 분포 간의 워셔스타인 거리 계산한다.
• 속성별 일치성 손실 함수를 도입한다: 색상에 대해서는 입력과 출력 색상 평균 간의 L1 손실, 텍스처에 대해서는 라플라시안 기반 매트팅 손실, 형태에 대해서는 이진 교차 엔트로피 손실.
• 생성자는 복합적 인식 손실과 일치성 손실을 최소화하도록 학습되며, 이로 인해 한 속성의 변경이 다른 속성에 영향을 주지 않도록 보장된다.
• 재구성 파이프라인은 생성자의 입력을 최적화하여 재구성 오차와 일치성 손실을 최소화함으로써 실제 의류 이미지의 입력 속성을 추정하고, 이를 통해 속성 편집을 가능하게 한다.

실험 결과

연구 질문

• RQ1 조건부 GAN이 다수의 입력 속성—색상, 텍스처, 형태—의 영향을 분리하여 한 속성을 조정할 때 다른 속성이 영향을 받지 않도록 할 수 있는가?
• RQ2 이미지 생성 중에 수정되지 않은 속성의 시각적 안정성을 유지하기 위해 일치성 손실 함수를 어떻게 설계할 수 있는가?
• RQ3 학습된 생성자가 실제 의류 이미지를 얼마나 정확하게 재구성할 수 있는가? 이는 기저의 색상, 텍스처, 형태 입력을 추정함으로써 가능하다.
• RQ4 실제 이미지에서 추정한 속성을 수정하여 새로운, 현실적인 의류 디자인을 생성할 수 있는가?
• RQ5 단일 평균 색상과 이진 형태 마스크를 사용할 경우, 다수의 색상이나 매우 복잡한 텍스처를 가진 의류를 모델링하는 데 어떤 한계가 있는가?

주요 결과

• 모델은 한 속성을 조정할 때 나머지 두 속성이 시각적으로 안정된 상태를 유지함으로써 색상, 텍스처, 형태의 영향을 성공적으로 분리함을 입증하였다.
• 일치성 손실 함수는 수정되지 않은 속성의 유지에 효과적으로 기여한다: 색상을 조정할 때 텍스처와 형태는 그대로 유지되며, 그 반대의 경우에도 마찬가지다.
• 재구성 파이프라인은 실제 의류의 색상과 형태를 정확히 복원하며, 추정된 텍스처 벡터는 수평선과 그림자 같은 국소 패턴을 잘 포착한다.
• 이 방법은 실용적인 패션 디자인 워크플로우를 가능하게 한다: 실제 의류가 분석되어 속성이 추출되고, 이를 수정하여 새로운 현실적인 디자인을 생성할 수 있다.
• 모델은 다수의 색상이나 매우 복잡한 텍스처를 지닌 의류에서는 실패를 보이며, 현재 색상 및 형태 표현의 한계를 드러낸다.
• 라플라시안 매트팅 손실의 이웃 크기를 증가시키면 구조적 요소를 더 잘 포착할 수 있지만, 희소성 감소로 인해 계산 비용이 크게 증가한다.