[논문 리뷰] MichiGAN: Multi-Input-Conditioned Hair Image Generation for Portrait Editing

Zhentao Tan, Menglei Chai외 6명|arXiv (Cornell University)|2020. 10. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 67인용 수 11

한 줄 요약

MichiGAN은 다중 입력 조건 기반 GAN을 도입하여 인터랙티브한 포트레이트 헤어 편집을 가능하게 하며, 헤어를 형태, 구조, 외관, 배경의 네 가지 수직적 특성으로 분리하여 각각 전용 조건 모듈을 통해 제어한다. 공간적으로 변하는 마스크, 방향성 맵, 외관 인코딩 네트워크, 마스크 인식 배경 인코더를 통합함으로써 스케치, 마스크, 참조 이미지와 같은 직관적인 입력으로 고해상도이고 제어 가능한 헤어 생성을 가능하게 하여 최신 기법들에 비해 뛰어난 이미지 품질과 사용자 제어성을 달성한다.

ABSTRACT

Despite the recent success of face image generation with GANs, conditional hair editing remains challenging due to the under-explored complexity of its geometry and appearance. In this paper, we present MichiGAN (Multi-Input-Conditioned Hair Image GAN), a novel conditional image generation method for interactive portrait hair manipulation. To provide user control over every major hair visual factor, we explicitly disentangle hair into four orthogonal attributes, including shape, structure, appearance, and background. For each of them, we design a corresponding condition module to represent, process, and convert user inputs, and modulate the image generation pipeline in ways that respect the natures of different visual attributes. All these condition modules are integrated with the backbone generator to form the final end-to-end network, which allows fully-conditioned hair generation from multiple user inputs. Upon it, we also build an interactive portrait hair editing system that enables straightforward manipulation of hair by projecting intuitive and high-level user inputs such as painted masks, guiding strokes, or reference photos to well-defined condition representations. Through extensive experiments and evaluations, we demonstrate the superiority of our method regarding both result quality and user controllability. The code is available at https://github.com/tzt101/MichiGAN.

연구 동기 및 목표

• 헤어의 복잡한 기하학적 구조와 외관으로 인해 정밀한 조작이 어려운 포트레이트 편집에서 조건부이고 제어 가능한 헤어 이미지 생성 문제를 해결하기 위해.
• 헤어를 형태, 구조, 외관, 배경의 네 가지 수직적 시각적 특성으로 분리하여 독립적이고 정밀한 사용자 제어를 가능하게 하기 위해.
• 각 헤어 특성의 지각적 및 공간적 특성에 맞게 조건 모듈을 설계하여 종단 간 완전 조건 기반 생성을 가능하게 하기 위해.
• 사용자 입력(예: 그림 칠한 마스크, 스트로크, 참조 사진 등)을 잘 정의된 의미론적 조건 표현으로 매핑하는 인터랙티브 시스템을 구축하기 위해.
• 배경 간섭을 최소화하고 원본 배경 콘텐츠를 유지하면서 사진 수준의 현실감 있는 헤어 생성과 원활한 융합을 달성하기 위해.

제안 방법

• 헤어를 형태(흐린 의미적 마스크), 구조(가중치가 부여된 방향성 맵), 외관(마스크 변환 특징 추출), 배경(마스크 인식 융합을 갖춘 병렬 인코더)의 네 가지 수직적 특성으로 분리한다.
• 공간적으로 변하는 형태 및 구조 조건에 기반해 특징 맵을 조정하기 위해 조건부 정규화 레이어(예: AdaIN)를 사용한다.
• 임의의 참조 이미지에서 외관 스타일을 생성기의 잠재 공간에 통합하기 위해 마스크 변환 특징 추출 네트워크를 도입한다.
• 마스크 유도 주의를 사용하여 점진적으로 배경 특징을 생성기에 통합하는 병렬 배경 인코더를 구현함으로써 원본 배경 콘텐츠를 유지한다.
• 훈련 중 형태 변화에 대한 강건성을 향상시키기 위해 합성 데이터 증강(예: 마스크의 무작위 팽창/수축)을 포함한 데이터 파ip라인을 설계한다.
• 훈련 안정성과 생성 품질 향상을 위해 적대적 손실, 지각 손실, 사이클 일致성 손실의 조합을 사용한다.

실험 결과

연구 질문

• RQ1 조건부 GAN 모델이 포트레이트 이미지의 헤어 생성에 대해 분리된 다중 특성 제어를 달성할 수 있는가?
• RQ2 형태, 구조, 외관, 배경을 통합된 GAN 아키텍처에서 효과적으로 모델링하고 조건화할 수 있는가?
• RQ3 그림 칠한 마스크, 스트로크, 참조 이미지와 같은 직관적인 사용자 입력이 시각적 일致성을 유지하는 의미론적 조건 표현으로 매핑될 수 있는가?
• RQ4 마스크 유도 배경 융합이 헤어 편집 중 원본 배경 콘텐츠를 보존하는 데 있어 단순한 특징 블렌딩 베이스라인보다 우수한가?
• RQ5 경계 매트팅이나 자세 적응 없이도 다양한 헤어 형태와 외관에 대해 일반화할 수 있는가?

주요 결과

• MichiGAN은 자연 환경의 포트레이트 데이터셋에서의 정량적 평가를 통해 낮은 FID 점수를 기록하며 최신 기법들에 비해 뛰어난 이미지 품질을 달성한다.
• 제안된 마스크 유도 배경 융합 모듈은 배경 누출을 크게 줄이고 단순 블렌딩 베이스라인 대비 원본 배경 콘텐츠를 더 잘 유지한다.
• 모델은 원본 배경과 얼굴 정체성을 유지하면서도 외관, 구조, 형태의 개별 특성에 대해 분리된 편집을 성공적으로 수행한다.
• 예를 들어 색상과 스타일을 동시에 변경하는 다중 특성 동시 조작이 가능하며, 현실적이고 일관된 결과를 생성한다.
• 그림 칠한 마스크와 안내 스트로크와 같은 직관적인 입력을 통해 인터랙티브 편집을 지원하며, 고해상도의 높은 시각적 정밀도로 사용자 중심의 맞춤형 편집을 가능하게 한다.
• 한계점으로는 형태 마스크의 정렬 오차에 민감하고, 공간적으로 변화하는 외관 또는 극단적인 스트로크 경로를 유지하는 데 어려움이 있으며, 정렬 및 매트팅 향상 여지가 있음을 시사한다.