[논문 리뷰] Recapture as You Want

Chen Gao, Si Liu외 3명|arXiv (Cornell University)|2020. 06. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 45인용 수 7

한 줄 요약

이 논문은 사용자가 원하는 자세, 체형, 옷 스타일을 편집할 수 있도록 하는 GAN 기반의 포트레이트 재촬영 방법을 제안한다. 이는 의미론적 지오메트릭 및 아웃포지션 변환을 통해 실현되며, 비정규 변형, 보이지 않는 신체 부위의 추론, 전역 일관성 유지에 대응하기 위해 두 가지 새로운 모듈—의미론적 주의 집중 전달(SAT)과 레이아웃 그래프 추론(LGR)을 도입한다. 이로 인해 DeepFashion, Market-1501 및 실외 환경 데이터셋에서 신원 유지 및 시각적 현실감 향상 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

With the increasing prevalence and more powerful camera systems of mobile devices, people can conveniently take photos in their daily life, which naturally brings the demand for more intelligent photo post-processing techniques, especially on those portrait photos. In this paper, we present a portrait recapture method enabling users to easily edit their portrait to desired posture/view, body figure and clothing style, which are very challenging to achieve since it requires to simultaneously perform non-rigid deformation of human body, invisible body-parts reasoning and semantic-aware editing. We decompose the editing procedure into semantic-aware geometric and appearance transformation. In geometric transformation, a semantic layout map is generated that meets user demands to represent part-level spatial constraints and further guides the semantic-aware appearance transformation. In appearance transformation, we design two novel modules, Semantic-aware Attentive Transfer (SAT) and Layout Graph Reasoning (LGR), to conduct intra-part transfer and inter-part reasoning, respectively. SAT module produces each human part by paying attention to the semantically consistent regions in the source portrait. It effectively addresses the non-rigid deformation issue and well preserves the intrinsic structure/appearance with rich texture details. LGR module utilizes body skeleton knowledge to construct a layout graph that connects all relevant part features, where graph reasoning mechanism is used to propagate information among part nodes to mine their relations. In this way, LGR module infers invisible body parts and guarantees global coherence among all the parts. Extensive experiments on DeepFashion, Market-1501 and in-the-wild photos demonstrate the effectiveness and superiority of our approach. Video demo is at: \url{https://youtu.be/vTyq9HL6jgw}.

연구 동기 및 목표

• 전문적인 사진 편집 도구 없이도 사용자가 원하는 자세, 체형, 옷 스타일로 직관적이고 사용자 중심의 포트레이트 편집을 가능하게 하기 위해.
• 원래의 외관과 신원을 유지하면서도 비정규 인간 신체의 변형 문제를 해결하기 위해.
• 가시 영역과 의미론적 레이아웃을 바탕으로 보이지 않는 신체 부위(예: 하체)를 일관되게 추론하기 위해.
• 의미론적 편집 중 모든 신체 부위 간의 전역 일관성을 확보하기 위해.
• 도메인 분포의 변화에 강건하여 실외 환경의 포트레이트에 효과적으로 적용될 수 있도록 하는 방법 개발을 위해.

제안 방법

• 이 방법은 조건부 GAN 프레임워크를 사용하여 포트레이트 재촬영을 의미론적 지오메트릭 변환과 아웃포지션 변환으로 분해한다.
• 사용자가 지정한 공간적 제약 조건을 캡슐화하기 위해 의미론적 레이아웃 맵을 생성하며, 이는 지오메트릭 및 아웃포지션 단계를 모두 안내한다.
• 의미론적 주의 집중 전달(SAT) 모듈은 소스 이미지 내 의미적으로 일치하는 영역에 주의를 기울여 부위 간 기능 전달을 수행함으로써, 비정규 변형 하에서도 질감과 구조를 유지한다.
• 레이아웃 그래프 추론(LGR) 모듈은 신체 뼈대 지식에서 유래한 그래프를 구성하며, 부위 기능 간의 상호 관계를 모델링하고 메시지 전달을 통해 보이지 않는 부위를 추론한다.
• 세부 정보와 전역 일관성의 균형을 위해 다중 해상도 특징을 사용하며, 최적의 설정은 DeepFashion의 경우 l=3, r=6, n=2이며, Market-1501의 경우 l=4, r=6, n=2이다.
• 실외 환경의 포트레이트에 대해서는 배경 분리 기법을 적용하고, 인간 영역에 재촬영 모델을 적용한 후, 표준 인painting 모델을 사용해 배경을 복원한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 자세, 체형, 옷 스타일을 동시에 의미론적으로 고려해 포트레이트 사진을 효과적으로 편집할 수 있는가?
• RQ2 신원과 세밀한 질감 세부 정보를 유지하면서도 인간 신체의 비정규 변형을 어떻게 모델링할 수 있는가?
• RQ3 제한된 가시 영역에서 보이지 않는 신체 부위를 얼마나 정확하고 일관되게 추론할 수 있는가?
• RQ4 의미론적 편집 중 모든 인간 신체 부위 간의 전역 일관성을 어떻게 유지할 수 있는가?
• RQ5 이 방법은 실제 생활 환경에서 제약이 없는(실외 환경의) 포트레이트 이미지에 일반화될 수 있는가?

주요 결과

• SAT 모듈은 특히 큰 자세 변화나 스케일 변화 상황에서도 외관의 구조 유지와 질감 세부 정보 일관성 향상에 뚜렷한 기여를 한다.
• LGR 모듈은 보이지 않는 신체 부위를 효과적으로 추론하고 전역 일관성을 향상시키며, 예를 들어 신발 색상 일치 및 가시 영역과 추론 영역 간의 일관된 피부 톤 유지와 같은 성능 향상을 보인다.
• 제거 실험 결과, SAT는 중간 수준의 특징(l=3)에서, LGR는 고수준 특징(l=4)에서 최적의 성능을 내며, r=6과 n=2가 최적의 초모수로 확인되었다.
• DeepFashion 및 Market-1501 데이터셋에서 FID와 LPIPS 측정치에서 뛰어난 정량적 성능을 기록하여 뛰어난 이미지 품질과 현실감을 입증했다.
• 배경 분리 및 배경 복원을 거친 후 실외 환경의 포트레이트에 대해서도 잘 일반화되어 현실적이고 일관된 결과를 생성한다.
• 프레임 단위로 적용한 비디오 재촬영 결과는 안정적이고 시각적으로 일관된 성능을 보이며, 모델의 시간적 안정성과 강건성을 확인한다.