[논문 리뷰] Mobile Face Tracking: A Survey and Benchmark

Yiming Lin, Jie Shen외 2명|arXiv (Cornell University)|2018. 05. 24.

Face recognition and analysis참고 문헌 57인용 수 4

한 줄 요약

이 논문은 95만 개의 수동으로 레이블이 지정된 바운딩 박스와 14개의 속성을 포함한 80개의 편집되지 않은 스마트폰 영상으로 구성된, 모바일 환경에서 단일 얼굴 추적을 위한 최초의 벤치마크인 MobiFace를 소개한다. 36개의 최신 추적기들을 평가한 결과, 기존 방법으로서는 모바일 얼굴 추적 문제가 해결되지 않았지만, MobiFace에서의 미세조정은 성능을 크게 향상시켜 이 데이터셋이 유일한 특성을 효과적으로 포착하고 있음을 입증한다.

ABSTRACT

Face tracking serves as the crucial initial step in mobile applications trying to analyse target faces over time in mobile settings. However, this problem has received little attention, mainly due to the scarcity of dedicated face tracking benchmarks. In this work, we introduce MobiFace, the first dataset for single face tracking in mobile situations. It consists of 80 unedited live-streaming mobile videos captured by 70 different smartphone users in fully unconstrained environments. Over $95K$ bounding boxes are manually labelled. The videos are carefully selected to cover typical smartphone usage. The videos are also annotated with 14 attributes, including 6 newly proposed attributes and 8 commonly seen in object tracking. 36 state-of-the-art trackers, including facial landmark trackers, generic object trackers and trackers that we have fine-tuned or improved, are evaluated. The results suggest that mobile face tracking cannot be solved through existing approaches. In addition, we show that fine-tuning on the MobiFace training data significantly boosts the performance of deep learning-based trackers, suggesting that MobiFace captures the unique characteristics of mobile face tracking. Our goal is to offer the community a diverse dataset to enable the design and evaluation of mobile face trackers. The dataset, annotations and the evaluation server will be on \url{this https URL}.

연구 동기 및 목표

• 제약 없는 스마트폰 환경에서 모바일 얼굴 추적을 위한 전용 벤치마크의 부족을 해결한다.
• 실제 생활 속 스마트폰 사용 패턴을 반영한 다양하고 현실적인 데이터셋을 제공하여 얼굴 추적에 적합한 환경을 구축한다.
• 모바일 환경에서의 특수한 과제에 맞춰 기존 얼굴 추적 알고리즘의 평가 및 향상 가능성을 보장한다.
• 기존 접근 방식이 다루지 못하는 모바일 얼굴 추적의 고유한 특성을 규명한다.
• 데이터셋, 레이블, 평가 서버를 공개하여 향후 연구의 기반을 마련한다.

제안 방법

• 완전히 제약 없는 환경에서 70명의 다른 스마트폰 사용자로부터 80개의 편집되지 않은 라이브 스트리밍 영상을 수집한다.
• 모든 영상에서 얼굴 인스턴스에 대해 95만 개 이상의 바운딩 박스를 수동으로 레이블링한다.
• 영상 콘텐츠와 과제를 기술하기 위해 14개의 속성을 도입하며, 이 중 6개는 모바일 얼굴 추적에 특화된 신규 속성이다.
• MobiFace에서 미세조정된 얼굴 랜드마크 추적기, 일반 물체 추적기, 그리고 최신 딥 러닝 모델을 포함한 36개의 최신 추적기를 평가한다.
• 표준화된 평가 서버를 사용하여 일관되고 재현 가능한 성능 비교를 보장한다.
• 기존 추적기와 제안된 벤치마크 간의 성능 격차를 분석하여 모바일 환경에서의 주요 실패 원인을 규명한다.

실험 결과

연구 질문

• RQ1 기존 얼굴 추적 방법들은 제약 없는 스마트폰 영상 스트림의 고유한 과제에 일반화될 수 있는가?
• RQ2 표준 물체 추적과 구별되는 모바일 얼굴 추적의 핵심 시각적 및 맥락적 속성은 무엇인가?
• RQ3 MobiFace 데이터셋에서의 미세조정이 딥 러닝 기반 얼굴 추적기의 성능을 얼마나 향상시키는가?
• RQ4 현재 최신 추적기들은 실제 모바일 영상 시퀀스에 존재하는 동적이고 다양한 조건을 처리할 수 있는가?
• RQ5 기존의 벤치마크나 추적 알고리즘에서 포착되지 않는 모바일 얼굴 추적의 특정 과제는 무엇인가?

주요 결과

• 기존 얼굴 추적 접근 방식은 모바일 영상 환경으로 일반화되지 못하며, 문제 해결이 여전히 남아 있음을 시사한다.
• MobiFace 데이터셋에서 딥 러닝 기반 추적기를 미세조정하면 성능 향상이 뚜렷하게 발생하며, 이는 데이터셋이 모바일 전용 과제를 효과적으로 반영하고 있음을 증명한다.
• MobiFace 데이터셋은 이전의 벤치마크가 충분히 다루지 못하는 모바일 얼굴 추적의 고유한 특성, 예를 들어 빠른 운동, 가림, 다양한 조명 조건 등을 효과적으로 포착하고 있다.
• 6개의 신규 속성 도입으로 모바일 환경에서의 추적 난이도를 더 세밀하게 분석할 수 있게 되었다.
• 평가 결과, 여러 최신 추적기에서 모바일 영상에 적용했을 때 일관된 성능 저하가 나타나며, 전용으로 설계된 모바일 인식 추적 모델의 필요성을 강조한다.
• MobiFace 데이터셋과 평가 서버의 가용성 덕분에 표준화된 벤치마크가 가능해졌으며, 향후 모바일 얼굴 추적 연구의 진전이 가능해졌다.