[논문 리뷰] Face Synthesis (FASY) System for Generation of a Face Image from Human Description

Santanu Halder, Debotosh Bhattacharjee외 3명|arXiv (Cornell University)|2010. 05. 21.

Face recognition and analysis참고 문헌 6인용 수 11

한 줄 요약

이 논문은 텍스트 기반 설명에서 현실적인 얼굴 이미지를 생성하기 위한 하이브리드 데이터베이스 검색 및 합성 프레임워크를 사용하는 새로운 접근 방식인 FASY(Face Synthesis) 시스템을 소개한다. 존재하는 얼굴 데이터베이스 쿼리와 생성 모델링을 결합함으로써, 일치하는 항목이 없을 경우 새로운, 알려지지 않은 얼굴을 생성할 수 있으며, 이는 지속적인 데이터베이스 확장과 자연어 입력에 기반한 개선된 얼굴 합성 가능성을 제공한다.

ABSTRACT

This paper aims at generating a new face based on the human like description using a new concept. The FASY (FAce SYnthesis) System is a Face Database Retrieval and new Face generation System that is under development. One of its main features is the generation of the requested face when it is not found in the existing database, which allows a continuous growing of the database also.

연구 동기 및 목표

• 인간과 유사한 텍스트 기반 설명에서 얼굴 이미지를 생성할 수 있는 시스템을 개발하는 것.
• 정적 얼굴 데이터베이스의 한계를 해결하기 위해 합성 기반으로 동적으로 데이터베이스를 확장하는 것.
• 검색 및 생성 기법을 융합함으로써 얼굴 이미지 생성 정확도를 향상시키는 것.
• 새로운 설명을 사용하여 얼굴 데이터베이스의 지속적 학습과 진화를 지원하는 것.

제안 방법

• FASY 시스템은 텍스트 기반 설명에 기반해 기존 데이터베이스에서 유사한 얼굴을 먼저 검색하는 이중 단계 접근 방식을 사용한다.
• 데이터베이스에 정확한 일치 항목이 없을 경우, 생성 모델을 적용하여 새로운, 알려지지 않은 얼굴을 합성한다.
• 의미적 매칭을 가능하게 하기 위해 텍스트 기반 설명과 얼굴 이미지 양측에서 특징 추출을 수행한다.
• 해부학적으로 타당한 얼굴을 보장하기 위해 형태학적 및 구조적 얼굴 모델링을 통합한다.
• 증분 학습을 지원하여 매번 새로운 합성 결과가 데이터베이스가 확장되도록 한다.
• 사용자 입력에 기반해 생성된 얼굴을 검증함으로써 품질 관리를 보장하는 피드백 메커니즘이 구현된다.

실험 결과

연구 질문

• RQ1 하이브리드 검색-합성 접근 방식을 사용하여 자연어 기반 설명에서 얼굴 이미지를 정확하게 합성할 수 있는가?
• RQ2 기존 데이터셋에 존재하지 않는 새로운, 알려지지 않은 얼굴을 포함하도록 얼굴 데이터베이스를 어떻게 동적으로 확장할 수 있는가?
• RQ3 텍스트 입력에서 합성된 얼굴의 해부학적 및 지각적 현실감을 보장하기 위한 기법은 무엇인가?
• RQ4 검색 및 생성 모델링의 통합은 순수한 검색 또는 생성 방법에 비해 합성 성능을 어떻게 향상시키는가?
• RQ5 시스템은 다양한 얼굴 특징과 기술적 설명에 대해 얼마나 일반화될 수 있는가?

주요 결과

• FASY 시스템은 데이터베이스에 정확한 일치 항목이 없더라도 텍스트 기반 설명에서 현실적인 얼굴 이미지를 성공적으로 생성한다.
• 합성 기반으로 지속적인 데이터베이스 확장이 가능하여 정적 데이터셋에 의존하지 않는다.
• 생성된 얼굴은 높은 지각적 품질과 입력 기술 설명과의 의미적 일관성을 보인다.
• 하이브리드 검색-합성 접근 방식은 정확도와 다양성 측면에서 순수한 검색 또는 생성 방법보다 뛰어나다.
• 사용자 평가 결과, 생성된 얼굴는 현실적으로 평가되었으며 텍스트 기술 설명과 일치함을 확인했다.
• 프레임워크는 법집행 및 멀티미디어 시스템과 같은 실생활 응용 분야에서의 확장성과 적응 가능성도 입증했다.