[논문 리뷰] GazeDirector: Fully Articulated Eye Gaze Redirection in Video

Erroll Wood, Tadas Baltrušaitis외 3명|arXiv (Cornell University)|2017. 04. 27.

Gaze Tracking and Assistive Technology참고 문헌 6인용 수 7

한 줄 요약

GazeDirector는 분석-합성 기반의 3D 모델을 사용하여 개인에 관계없이 영상 내 시선 방향을 재지정하는 방법을 제안한다. 다중 부위로 구성된 눈 부위 모델을 피팅하고, 시선 대상의 완전한 3D 구동 기능을 가능하게 하며, 모델에서 유도된 유동장에 의해 망막을 왜곡하고 합성된 3D 망막을 조합함으로써 사실적인 결과를 도출한다. 이는 이전의 왜곡 전용 방법보다 정확도와 시각적 품질에서 뛰어나며, 특히 큰 시선 이동 각도에서 유리하다.

ABSTRACT

Abstract We present GazeDirector, a new approach for eye gaze redirection that uses model‐fitting. Our method first tracks the eyes by fitting a multi‐part eye region model to video frames using analysis‐by‐synthesis, thereby recovering eye region shape, texture, pose, and gaze simultaneously. It then redirects gaze by 1) warping the eyelids from the original image using a model‐derived flow field, and 2) rendering and compositing synthesized 3D eyeballs onto the output image in a photorealistic manner. GazeDirector allows us to change where people are looking without person‐specific training data, and with full articulation, i.e. we can precisely specify new gaze directions in 3D. Quantitatively, we evaluate both model‐fitting and gaze synthesis, with experiments for gaze estimation and redirection on the Columbia gaze dataset. Qualitatively, we compare GazeDirector against recent work on gaze redirection, showing better results especially for large redirection angles. Finally, we demonstrate gaze redirection on YouTube videos by introducing new 3D gaze targets and by manipulating visual behavior.

연구 동기 및 목표

• 사용자별 校정 또는 학습 데이터 없이도 개인에 관계없이 영상 내 시선 재지정을 가능하게 하기 위해.
• 이전의 유동장 기반 방법에서 발생하는 각도 오프셋 제한을 극복하고 새로운 3D 시선 방향을 정밀하게 지정할 수 있도록 하기 위해.
• 특히 큰 재지정 각도에서 시각적 품질을 향상시키고 잡음 요소를 줄이기 위해.
• 다양한 조명, 자세, 눈의 외형을 갖춘 실제 유튜브 영상에 대해 실용적 적용 가능성을 입증하기 위해.

제안 방법

• 분석-합성 기반으로 영상 프레임에 3D 형태적 눈 부위 모델을 피팅하여 형태, 질감, 자세, 시선, 조명을 동시에 회복한다.
• GPU 가속 래스터라이제이션을 사용해 흩어진 각 정점의 이동량에서 고밀도 광학 유동장을 계산하여 눈꺼풀 변형을 모델링한다.
• 유동장을 적용해 입력 영상의 눈꺼풀을 왜곡하고, 재지정 과정에서 얼굴 구조를 유지한다.
• 피팅된 3D 눈 모델을 기반으로 합성된 3D 망막 모델을 출력 영상에 사실적으로 조합한다.
• 모델 피팅 동안 수렴 속도를 향상시키기 위해 2차 최적화 전략을 사용하여 효율성과 정확도를 향상시킨다.
• 유니티에서 물리 기반 시뮬레이션과 절차적 프로그래밍을 활용해 실제 영상 응용을 위한 3D 시선 대상을 정의한다.

실험 결과

연구 질문

• RQ1 3D 모델 기반 접근법이 개인 맞춤 학습 데이터 없이도 정확하고 사실적인 시선 재지정을 달성할 수 있는가?
• RQ2 특히 큰 재지정 각도에서, 모델 기반 시선 재지정이 유동장 기반 방법에 비해 시각적 품질과 잡음 억제 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법이 다양한 실제 영상 조건(다양한 머리 자세, 조도 등)에서도 안정적인 시선 추정과 재지정을 달성할 수 있는가?
• RQ4 눈꺼풀 왜곡과 망막 조합을 동시에 포함했을 때, 단일 구성 요소만 사용하는 경우에 비해 전체 재지정 품질이 얼마나 향상되는가?

주요 결과

• Columbia 시선 데이터셋에서 GazeDirector는 요르(_yaw) 방향으로 3.13°, 피치(pitch) 방향으로 6.92°의 시선 추정 오차를 기록했으며, 요르 방향에서는 이전 방법을 초월했고, 데이터셋에 종속되지 않는 성능도 유지했다.
• 2차 최적화를 사용함으로써, 각 반복 계산 시간은 유사하나, 1차 방법보다 더 빠르게 수렴하고 더 낮은 오차를 기록했다.
• 모델 피팅의 반복 횟수가 증가할수록 이미지 복원 오차와 시선 추정 오차가 감소함을 확인하여, 분석-합성 전략의 효과성을 입증했다.
• 망막과 눈꺼풀의 모두 재지정을 추가했을 때, 재지정 없이 비교했을 때 이미지 차이 오차가 20% 감소했으며, 전체 파이프라인에서 가장 낮은 오차를 기록했다(그림 13 참조).
• GazeDirector는 다양한 눈의 외형, 머리 자세, 조도 조건을 갖춘 유튜브 영상에서도 성공적으로 시선을 재지정했으며, 실제 환경에서의 강건성을 입증했다.
• 런타임 성능는 일반 데스크톱에서 모델 피팅 시 11.6–12.5 fps, 시선 재지정 시 80 fps에 도달하여 거의 실시간 처리가 가능했다.