[논문 리뷰] Modular Generative Adversarial Networks

Bo Zhao, Bo Chang외 2명|arXiv (Cornell University)|2018. 04. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 12

한 줄 요약

이 논문은 재사용 가능하고 조합 가능한 모듈—예를 들어 인코더, 트랜스포머, 생성자, 재구성기, 판별기—를 사용하는 새로운 모듈형 생성 적대적 네트워크인 ModularGAN을 제안한다. 이를 통해 다중 도메인 이미지 간 번역을 효율적으로 수행할 수 있다. 이러한 모듈들을 공동으로 훈련하고 테스트 시에 동적으로 조합함으로써 ModularGAN은 지수적 증가하는 쌍별 모델 훈련을 피하고, 얼굴 속성 전이 작업에서 SOTA 성능을 달성하며, 마스크 예측과 순환 손실을 통해 강건성을 확보한다.

ABSTRACT

Existing methods for multi-domain image-to-image translation (or generation) attempt to directly map an input image (or a random vector) to an image in one of the output domains. However, most existing methods have limited scalability and robustness, since they require building independent models for each pair of domains in question. This leads to two significant shortcomings: (1) the need to train exponential number of pairwise models, and (2) the inability to leverage data from other domains when training a particular pairwise mapping. Inspired by recent work on module networks, this paper proposes ModularGAN for multi-domain image generation and image-to-image translation. ModularGAN consists of several reusable and composable modules that carry on different functions (e.g., encoding, decoding, transformations). These modules can be trained simultaneously, leveraging data from all domains, and then combined to construct specific GAN networks at test time, according to the specific image translation task. This leads to ModularGAN's superior flexibility of generating (or translating to) an image in any desired domain. Experimental results demonstrate that our model not only presents compelling perceptual results but also outperforms state-of-the-art methods on multi-domain facial attribute transfer.

연구 동기 및 목표

• 각 도메인 쌍에 대해 별도의 모델을 훈련해야 하는 기존의 쌍별 이미지 번역 모델의 확장성과 데이터 비효율성 문제를 해결한다.
• 단일 복잡한 모델의 한계를 극복하기 위해 이미지 생성을 간단하고 재사용 가능한 기능 모듈로 분해한다.
• 재훈련 없이도 원하는 도메인에서 이미지를 생성할 수 있도록 테스트 시에 모듈을 유연하고 동적으로 조합할 수 있도록 한다.
• 훈련 시 모든 도메인의 데이터를 활용하여 일반화 능력을 향상시키고 희귀한 도메인 조합에 대한 희귀한 쌍 데이터에 대한 의존도를 줄인다.
• 구조적 모듈 설계와 보조 손실을 통해 다중 속성 이미지 번역에서의 강건성과 속성 충실도를 향상시킨다.

제안 방법

• 이미지 생성 파이프라인에서 각각 다른 기능을 담당하는 다섯 가지 핵심 구성 요소—생성자, 인코더, 트랜스포머, 재구성기, 판별기—로 구성된 모듈형 GAN 아키텍처를 설계한다.
• 실제적이고 속성 정확도가 높은 출력을 확보하기 위해 생성 적대적 손실, 재구성 손실, 속성 분류 손실을 포함하는 공동 목표 함수를 사용해 모든 모듈을 엔드 투 엔드로 훈련한다.
• 공간적으로 국소화된 특징 변환을 안내하기 위해 트랜스포머 모듈 내에 마스크 예측 헤드를 도입하여 속성의 제어성과 분리도를 향상시킨다.
• 순환 일致성 손실을 훈련 중에 적용하여 순차적 변환(예: A→B→C)이 정체성을 유지하고 분포 이탈을 줄인다.
• 추론 시에 트랜스포머 모듈을 임의의 순서로 스택하여 동적으로 조합함으로써 임의의 목표 도메인에서 이미지를 생성할 수 있도록 한다.
• 생성된 이미지의 속성 정확도를 평가하기 위해 공통된 ResNet-18 분류기를 사용하여 헤어 컬러, 성별, 표정과 같은 목표 속성에 대한 충실도를 확보한다.

실험 결과

연구 질문

• RQ1 재사용 가능하고 조합 가능한 GAN 모듈로 구성된 모듈형 아키텍처가 기존의 쌍별 또는 단일 모델 접근 방식보다 다중 도메인 이미지 번역에서 더 우수한 성능을 낼 수 있는가?
• RQ2 트랜스포머 모듈 내에서 마스크 예측을 사용할 경우, 종래의 엔드 투 엔드 특징 변환 대비 속성의 분리도와 생성 품질이 향상되는가?
• RQ3 여러 모듈을 순차적으로 조합할 때 순환 일치 손실이 다중 속성 번역 성능에 어떤 영향을 미치는가?
• RQ4 모듈 조합 순서에 대해 모델이 강건한가? 이는 다양한 도메인 조합에서의 민감한 유연하고 신뢰할 수 있는 생성을 가능하게 하는가?
• RQ5 모든 도메인을 함께 훈련함으로써 일반화 능력이 향상되고 희귀하거나 복잡한 속성 조합에서의 오류율이 감소하는가?

주요 결과

• Amazon Mechanical Turk 평가에서 ModularGAN는 속성 전이 작업에서 인간 선호도 점수 48.70점(100점 만점)을 기록하여 IcGAN, CycleGAN, StarGAN을 크게 앞서며 최고의 성능을 보였다.
• CelebA 데이터셋에서 ModularGAN는 성별(2.61%), 미소(4.21%), 헤어 컬러(3.86%) 예측에 대해 가장 낮은 분류 오차를 기록하여 목표 속성을 높은 충실도로 생성하는 능력을 입증했다.
• 제거 실험 결과, 마스크 예측 기능을 제거할 경우 HSG(헤어, 미소, 성별) 작업에서 오차율이 30.85%로 급격히 증가하여, 이 기능이 분리된 조작에 핵심적인 역할을 한다는 것을 확인했다.
• 순환 손실을 제거할 경우 다중 속성 번역 성능이 극적으로 저하되었으며(HSG에서 오차율 52.87%), 이는 조합된 변환 간의 일관성을 유지하는 데서 이 손실의 중요성을 입증한다.
• 트랜스포머 모듈의 조합 순서를 무작위로 변경하더라도 성능에 미미한 영향을 미쳤다(HSG에서 오차율 6.23%), 이는 모델이 모듈 조합 순서에 대해 강건함을 확인한다.
• HSG 속성 전이 작업에서 ModularGAN는 46.96%의 선호도 점수를 기록하여 StarGAN(27.83%)과 CycleGAN(9.57%)을 압도적으로 앞서며, 복잡한 다중 속성 생성에서의 우수성을 입증했다.