[논문 리뷰] Face-to-Parameter Translation for Game Character Auto-Creation

Tianyang Shi, Yi Yuan외 4명|arXiv (Cornell University)|2019. 09. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 10

한 줄 요약

이 논문은 단일 얼굴 사진으로부터 자동으로 게임 캐릭터를 생성하기 위해, 비가역적인 게임 엔진 렲영을 극복하기 위해 미분 가능한 생성 모의기법을 사용하는 얼굴-파rameter(F2P) 변환 방법을 제안한다. 이 방법은 비가역적인 게임 엔진의 렌더링 과정에도 불구하고 기울기 기반 최적화를 가능하게 하며, 전반적인 외관과 국소적인 얼굴 세부 사항에서 높은 유사성을 달성한다. 사용자 연구에서 50.26%의 선택 비율을 기록했고, 100만 명 이상의 사용자를 보유한 실시간 게임에 도입되었다.

ABSTRACT

Character customization system is an important component in Role-Playing Games (RPGs), where players are allowed to edit the facial appearance of their in-game characters with their own preferences rather than using default templates. This paper proposes a method for automatically creating in-game characters of players according to an input face photo. We formulate the above "artistic creation" process under a facial similarity measurement and parameter searching paradigm by solving an optimization problem over a large set of physically meaningful facial parameters. To effectively minimize the distance between the created face and the real one, two loss functions, i.e. a "discriminative loss" and a "facial content loss", are specifically designed. As the rendering process of a game engine is not differentiable, a generative network is further introduced as an "imitator" to imitate the physical behavior of the game engine so that the proposed method can be implemented under a neural style transfer framework and the parameters can be optimized by gradient descent. Experimental results demonstrate that our method achieves a high degree of generation similarity between the input face photo and the created in-game character in terms of both global appearance and local details. Our method has been deployed in a new game last year and has now been used by players over 1 million times.

연구 동기 및 목표

• 역할수행게임(RPG)에서 수작업 캐릭터 커스터마이제이션의 시간 낭비 문제를 해결하기 위해 플레이어의 얼굴 사진으로부터 자동으로 게임 내 캐릭터를 생성할 수 있도록 하는 것.
• 물리적으로 의미 있는 얼굴 파라미터 공간에서의 최적화 문제로 캐릭터 생성을 재정의하여 게임 엔진과의 호환성을 보장하는 것.
• 게임 엔진의 렌더링 과정이 비가역적이므로, 렌더링 과정을 모의하는 학습 가능한 생성 모의기법을 도입하여 이 문제를 해결하는 것.
• 생성 품질을 향상시키기 위해 전역적인 외관에 적합한 분류 손실과 국소 세부 사항을 보존하는 얼굴 콘텐츠 손실을 전용으로 설계한 두 가지 손실 함수를 도입하는 것.
• 생성 후에 파라미터를 세밀 조정할 수 있도록 사용자 상호작용을 지원하는 것.

제안 방법

• 이 방법은 입력 얼굴 사진과 일치시키기 위해 물리적으로 의미 있는 얼굴 파라미터의 큰 집합에 대해 최적화 문제로 게임 캐릭터 자동 생성을 설정한다.
• 생성 네트워크 $ G $ 는 비가역적인 게임 엔진의 렌더링을 근사하는 '모의기' 역할을 하여, 엔드 투 엔드 백프로파게이션과 기울기 하강 최적화를 가능하게 한다.
• 두 가지 손실 함수를 도입한다: 전역적인 얼굴 외관 유사성에 대한 분류 손실 $ \mathcal{L}_1 $ 과 국소 세부 사항 보존을 위한 얼굴 콘텐츠 손실 $ \mathcal{L}_2 $ 로, 모두 깊은 CNN 특징 기반이다.
• 전체 파이프라인은 다중 작업 학습을 통해 엔드 투 엔드 방식으로 훈련되어 원시 입력 이미지에서 직접 얼굴 파라미터를 최적화할 수 있도록 한다.
• 이 방법은 초기 자동 생성 단계 이후에 파라미터를 세밀 조정할 수 있도록 사용자 상호작용을 지원한다.
• 모의기 는 입력 얼굴 사진과 해당되는 렌더링된 게임 캐릭터 이미지의 데이터셋을 기반으로 훈련되어, 파라미터에서 시각적 출력으로의 매핑을 학습한다.

실험 결과

연구 질문

• RQ1 학습 가능한 모의기 네트워크를 통해 비가역적인 게임 엔진 렌더링 과정을 딥 러닝으로 효과적으로 최적화할 수 있는가?
• RQ2 물리적으로 의미 있고 게임 엔진과 호환 가능한 파라미터 공간에서 얼굴 유사성은 어떻게 측정하고 최적화할 수 있는가?
• RQ3 분류 손실과 얼굴 콘텐츠 손실이 생성된 게임 캐릭터의 현실감과 세부 사항의 정확성에 얼마나 기여하는가?
• RQ4 스케치나 카리커처와 같은 비사진적 입력에 대해서도 이 방법이 얼굴 의미를 유지하면서 일반화 가능한가?
• RQ5 기존의 신경망 스타일 전이 및 3D 얼굴 재구성 기법과 비교해 본다면, 제안된 F2P 변환 방법은 품질과 효율성 면에서 어떤가?

주요 결과

• 제안된 방법은 대안들과 비교하여 사용자 선호도 연구에서 50.26%의 선택 비율을 기록했으며, 단일 손실 함수를 사용한 방법보다 유의미하게 뛰어났다.
• 제거 실험을 통해 분류 손실 $ \mathcal{L}_1 $ 과 얼굴 콘텐츠 손실 $ \mathcal{L}_2 $ 가 모두 필수적임을 확인했으며, 병합된 손실이 가장 높은 사용자 선호도를 보였다.
• 정량적 평가에서, 이 방법은 모드 스코어 1.1418 ± 0.0049 와 프리에치 인셉션 디스턴스(FID) 0.0390 ± 0.0018 를 기록했으며, 전역 스타일(FID: 0.0677)과 국소 스타일(FID: 0.0554) 방법을 모두 능가했다.
• TITAN Xp에서 이 방법은 16초 내에 실행되었으며, 국소 스타일 전이(43초)보다 빠르고, 더 빠른 방법들과 유사한 성능을 보였지만, 더 높은 스타일 유사성을 달성했다.
• 이 방법은 이미지 블러링과 조명 변화에 대해 뛰어난 강건성을 보였으며, 다양한 입력 조건에서도 고품질의 생성 결과를 유지했다.
• 이 방법은 스케치나 카리커처와 같은 예술적 초상화에서도 현실적인 게임 캐릭터를 성공적으로 생성했으며, 의미 수준의 유사성 측정 덕분에 비사진적 입력에 대해 강력한 일반화 능력을 보였다.