[논문 리뷰] Language Guided Fashion Image Manipulation with Feature-wise Transformations

Mehmet Günel, Erkut Erdem외 1명|ArXiv.org|2018. 08. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 30

한 줄 요약

이 논문은 분할 맵이나 자세 애너테이션을 필요로 하지 않고 정확한 언어 유도 패션 이미지 편집을 가능하게 하는 조건부 GAN인 FiLMedGAN을 제안한다. FiLM(FEATURE-WISE LINEAR MODULATION)을 통합하고 스킵 커넥션 및 총 변동성 정규화를 적용함으로써, 이전 방법보다 더 현실적이고 의미적으로 정확한 옷차림 편집을 생성한다. 이는 최신 기준 FID 점수를 달성하고, 시각적 변화의 국소화를 향상시킨다.

ABSTRACT

Developing techniques for editing an outfit image through natural sentences and accordingly generating new outfits has promising applications for art, fashion and design. However, it is considered as a certainly challenging task since image manipulation should be carried out only on the relevant parts of the image while keeping the remaining sections untouched. Moreover, this manipulation process should generate an image that is as realistic as possible. In this work, we propose FiLMedGAN, which leverages feature-wise linear modulation (FiLM) to relate and transform visual features with natural language representations without using extra spatial information. Our experiments demonstrate that this approach, when combined with skip connections and total variation regularization, produces more plausible results than the baseline work, and has a better localization capability when generating new outfits consistent with the target description.

연구 동기 및 목표

• 분할 맵이나 자세 키포인트와 같은 공간 애너테이션에 의존하지 않고 자연어 기반 기술에 따라 패션 이미지를 편집할 수 있는 방법을 개발하는 것.
• 언어 조건부 특징 조절을 딥 생성 모델과 통합하여 이미지 편집의 국소화 및 현실성 향상.
• 신체 형태나 정체성과 같은 구조적 일관성을 유지하면서 옷의 특성에만 집중적인 변화를 가하는 도전 과제 해결.
• FiLM 기반 조건부 처리가 기준 방법보다 시각적 및 텍스트적 의미의 분리 성능을 향상시킨다는 것을 입증하는 것.
• FID, Inception Score, 속성 유사도와 같은 정량적 지표와 함께 정성적 평가를 통해 모델 성능 평가.

제안 방법

• 모델은 생성자에서 텍스트 임bedding을 기반으로 시각적 특징을 조건화하는 데 FiLM(Feature-wise Linear Modulation)을 사용하는 조건부 GAN 프레임워크를 채택한다. 이는 조절 가능한 특징 변환을 가능하게 한다.
• FiLM은 문장 임베딩를 사용해 학습 가능한 애핀 변환(γ, β)을 특징 맵에 적용함으로써 언어 입력에 따라 특징을 적응적으로 조절할 수 있도록 한다.
• 디코딩 과정에서의 정보 손실를 줄이고 특징 복구를 향상시키기 위해 생성자에 스킵 커넥션을 통합한다.
• 학습 중에 총 변동성 정규화를 적용하여 공간적 일관성을 향상시키고 생성된 이미지의 노이즈를 감소시킨다.
• 생성자는 생성자-판별자 손실를 사용해 엔드 투 엔드로 훈련되며, 판별자는 실제 이미지와 생성된 이미지를 구분한다.
• 정량적 편집 정확도 평가를 위해 VGG-16 기반의 속성 헤드를 미세조정하여 성별, 소매, 색상, 카테고리 속성을 예측한다.

실험 결과

연구 질문

• RQ1 공간적 감독 없이도 FiLM 기반 특징 조절이 기준 GAN보다 더 정확하고 국소화된 패션 이미지 편집을 가능하게 하는가?
• RQ2 스킵 커넥션과 총 변동성 정규화의 통합이 생성된 이미지의 현실성과 구조적 일관성에 어떤 영향을 미치는가?
• RQ3 FiLM은 출력 이미지의 시각적 변화와 텍스트 기술 간의 일치도를 어느 정도 향상시키는가?
• RQ4 기존의 언어 기반 이미지 편집 모델 대비 FID 및 속성 유사도 측면에서 더 높은 성능을 달성하는가?
• RQ5 분할 맵이나 자세 애너테이션 없이도 FiLMedGAN은 정체성과 자세를 유지하면서 신뢰할 수 있는 옷차림 편집을 생성할 수 있는가?

주요 결과

• FiLMedGAN은 최고의 Fréchet Inception Distance(FID) 점수 10.72를 기록했으며(최근 50 에포크의 최고 기록: 9.12), 기준 [7] 및 기타 변종보다 유의미하게 뛰어나다.
• Inception Score(IS)는 2.58(최근 50 에포크의 최고 기록: 2.68)를 기록하여 이미지 품질 향상을 보였지만, 이 작업에 있어서는 IS는 신뢰할 수 없는 지표로 간주된다.
• FiLM+TV 변종은 FID를 16.83에서 14.84로 감소시켜, FiLM과 총 변동성 정규화를 조합했을 때 이미지 품질과 일관성이 향상됨을 보여준다.
• 속성 유사도(AS) 점수 0.67(최근 50 에포크의 최고 기록)는 생성된 이미지와 목표 기술 간의 강력한 일치를 나타내며, 효과적인 의미 제어를 의미한다.
• 정성적 결과에서는 FiLMedGAN이 기준 모델보다 더 세밀하고 시각적으로 매력적인 이미지를 생성함을 보여주며, 헤어와 얼굴 특징의 렌더링 품질도 향상되었다.
• 개선된 성능에도 불구하고 FiLMedGAN은 종종 전경 세부 정보(예: 헤어 손실)의 열화를 유발하여 변환 과정에서 미세한 이미지 콘텐츠 유지에 한계가 있음을 시사한다.