[논문 리뷰] Towards Automatic Image Editing: Learning to See another You

Amir Ghodrati, Xu Jia외 2명|Lirias (KU Leuven)|2015. 11. 26.

Face recognition and analysis참고 문헌 24인용 수 9

한 줄 요약

이 논문은 특정 속성 변화(예: 자세, 안경, 모자)를 가진 얼굴 이미지를 생성하면서도 정체성과 외형을 유지하는 이중 단계 컨볼루션 인코더-디코더 네트워크를 제안한다. 목표 속성을 인코딩하고 이미지 특징과 특징 맵 수준에서 융합함으로써 고품질의 정체성 유지 편집과 얼굴 검색 작업에서 경쟁적인 성능을 달성한다.

ABSTRACT

Learning the distribution of images in order to generate new samples is a challenging task due to the high dimensionality of the data and the highly non-linear relations that are involved. Nevertheless, some promising results have been reported in the literature recently,building on deep network architectures. In this work, we zoom in on a specific type of image generation: given an image and knowing the category of objects it belongs to (e.g. faces), our goal is to generate a similar and plausible image, but with some altered attributes. This is particularly challenging, as the model needs to learn to disentangle the effect of each attribute and to apply a desired attribute change to a given input image, while keeping the other attributes and overall object appearance intact. To this end, we learn a convolutional network, where the desired attribute information is encoded then merged with the encoded image at feature map level. We show promising results, both qualitatively as well as quantitatively, in the context of a retrieval experiment, on two face datasets (MultiPie and CAS-PEAL-R1).

연구 동기 및 목표

• 특정 속성 수정이 가해진 현실적인 얼굴 이미지를 생성하면서 정체성과 외형을 유지하는 문제를 해결하기 위해.
• 속성 영향을 분리하고 수동 조작 없이도 입력 이미지에 정확히 적용할 수 있는 방법을 개발하기 위해.
• 얼굴 재일조, 액세서리 추가/제거, 이미지 보완과 같은 응용 분야를 위한 자동 이미지 편집을 가능하게 하기 위해.
• 생성된 이미지를 쿼리로 사용하여 속성이 변경된 유사한 얼굴을 검색하는 얼굴 검색 설정에서 방법을 평가하기 위해.
• 이중 단계 개선 전략이 이미지 품질 향상과 잡음 감소에 효과적인지 입증하기 위해.

제안 방법

• 이중 단계 인코더-디코더 프레임워크를 사용한다: 첫 번째 단계는 수정된 얼굴의 전역 표현을 생성하고, 두 번째 단계는 국소적 세부 사항을 보완하여 잡음을 줄인다.
• 속성 정보는 벡터로 인코딩되고 이미지 특징 맵과 호환되는 특징 맵으로 투영되어 특징 수준에서 융합된다.
• 학습 가능한 모듈을 사용해 특징 맵 융합을 수행하며, 이는 디컨볼루션 이전에 인코딩된 이미지 및 속성 표현을 결합한다.
• 네트워크는 전역-국소 학습 전략을 사용하며, 첫 번째 단계는 정체성과 구조에 집중하고, 두 번째 단계는 질감과 세부 사항에 집중한다.
• 부족한 영역에 대한 불확실성에 대응하기 위해, 망막 완충 작업에서 평균 절대 오차(MAE)를 사용한다.
• 모델은 다각도적 속성 변화(자세, 조명, 액세서리 포함)를 포함한 크롭 및 정렬된 얼굴 데이터셋(MultiPIE 및 CAS-PEAL-R1)에서 훈련된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 특정 속성 변경이 가해진 현실적인 얼굴 이미지를 생성하면서 정체성과 외형을 유지할 수 있는가?
• RQ2 특징 맵 수준에서 속성 임bedding과 이미지 특징을 융합함으로써 특정 속성 편집이 얼마나 효과적으로 달성될 수 있는가?
• RQ3 이중 단계 개선 전략은 단일 단계 접근 방식에 비해 생성된 얼굴 이미지의 품질과 현실성 향상에 기여하는가?
• RQ4 생성된 이미지를 쿼리로 사용하여 속성이 변경된 유사한 얼굴을 효과적으로 검색할 수 있는가?
• RQ5 막힌 얼굴 영역이 있는 이미지 보완과 같은 도전적인 작업에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 자세 변화, 안경, 모자와 같은 정확한 속성 변화를 가진 고품질의 얼굴 이미지를 생성하면서도 정체성과 얼굴 구조를 유지한다.
• 두 번째 단계 개선이 이미지 품질을 크게 향상시켜, 특히 액세서리 교체와 같은 복잡한 속성 변화에서 뿌연 현상과 잡음을 줄인다.
• MultiPIE 데이터셋에서 생성된 이미지를 쿼리로 사용할 경우, 최신 기술 수준의 접근 방식과 유사한 검색 성능을 달성한다.
• qualitative 비교를 통해 [27]와의 비교에서 기준 모델보다 정체성 유지 성능이 뛰어나며, 다양한 조건에서도 선명하고 현실적인 얼굴을 생성함을 보여준다.
• 이미지 보완 작업에서 MAE 손실을 사용함으로써, MSE에 비해 막힌 얼굴 영역의 재구성이 더 일관되고 현실적으로 이루어진다.
• 모델은 다양한 속성 조합(예: 모자 제거와 안경 추가 동시 적용)에 대해 잘 일반화되며, 속성 간의 강건한 분리 성능을 보여준다.