[논문 리뷰] Walk and Learn: Facial Attribute Representation Learning from Egocentric Video and Contextual Data

Jing Wang, Yu Cheng외 1명|arXiv (Cornell University)|2016. 04. 21.

Face recognition and analysis참고 문헌 51인용 수 21

한 줄 요약

이 논문은 비감독 학습 기반의 딥러닝 프레임워크를 제안하여, 에고세트릭 비디오와 맥락 데이터(위치 및 날씨)로부터 풍부한 얼굴 특성 표현을 학습함으로써 고비용 수동 레이블링이 필요 없도록 한다. 다양한 도시 환경에서 추적된 신원을 가진 500만 개의 얼굴 쌍을 활용하여, 신원 일관성과 맥락 예측을 동시에 최적화함으로써, 수동으로 레이블링된 신원 데이터를 사전 훈련 없이도 얼굴 특성 분류에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The way people look in terms of facial attributes (ethnicity, hair color, facial hair, etc.) and the clothes or accessories they wear (sunglasses, hat, hoodies, etc.) is highly dependent on geo-location and weather condition, respectively. This work explores, for the first time, the use of this contextual information, as people with wearable cameras walk across different neighborhoods of a city, in order to learn a rich feature representation for facial attribute classification, without the costly manual annotation required by previous methods. By tracking the faces of casual walkers on more than 40 hours of egocentric video, we are able to cover tens of thousands of different identities and automatically extract nearly 5 million pairs of images connected by or from different face tracks, along with their weather and location context, under pose and lighting variations. These image pairs are then fed into a deep network that preserves similarity of images connected by the same track, in order to capture identity-related attribute features, and optimizes for location and weather prediction to capture additional facial attribute features. Finally, the network is fine-tuned with manually annotated samples. We perform an extensive experimental analysis on wearable data and two standard benchmark datasets based on web images (LFWA and CelebA). Our method outperforms by a large margin a network trained from scratch. Moreover, even without using manually annotated identity labels for pre-training as in previous methods, our approach achieves results that are better than the state of the art.

연구 동기 및 목표

• 맥락 데이터에서 약한 감독을 활용하여 얼굴 특성 학습의 높은 수동 레이블링 비용 문제를 해결한다.
• 환경 맥락을 활용하여 신원과 관련된 특징(예: 안경, 모자)을 초월한 얼굴 특성 표현 학습을 향상시킨다.
• 웨어러블 카메라가 촬영한 실제 도시 환경에서의 다양한 얼굴 외형의 다양성을 활용한다.
• 신원 레이블이 포함된 데이터셋에 의존하지 않고도 후행 작업인 얼굴 특성 분류 성능을 향상시키는 사전 훈련 전략을 개발한다.
• 맥락 감독(위치 및 날씨)이 단순히 신원 사전 훈련보다 더 나은 특징 표현을 제공할 수 있음을 입증한다.

제안 방법

• 40시간이 넘는 에고세트릭 비디오를 처리하여 얼굴 랜드마크 검출을 통해 일상적인 산책자들의 얼굴을 추적한다.
• 추적 일관성 기반으로 얼굴 이미지 쌍을 생성한다: 동일한 트랙에 속한 쌍은 양성, 다른 트랙에 속한 쌍은 음성으로 간주한다.
• 대비 손실을 사용하는 시아모이 신경망이 동일 트랙 쌍 간의 거리를 최소화함으로써 신원 관련 특징을 유지한다.
• 동일한 네트워크가 지리적 위치와 날씨 조건을 예측하도록 공동으로 훈련되어, 맥락 특징을 임bedding 공간에 통합한다.
• 결과로 생성된 특징 표현은 소량의 수동으로 레이블링된 얼굴 특성 레이블을 사용하여 미세조정된다.
• 신원 일관성과 맥락 예측을 결합한 다중 작업 학습 목표를 통해 분리된, 강건한 특징을 학습한다.

실험 결과

연구 질문

• RQ1 지리적 위치와 날씨와 같은 맥락 정보가 수동 레이블링 없이도 얼굴 특성 표현을 학습하는 데 약한 감독으로 기능할 수 있는가?
• RQ2 신원 일관성과 맥락 예측을 공동으로 학습하는 것이 신원 사전 훈련을 초월해 얼굴 특성 분류 성능을 향상시키는가?
• RQ3 신원 레이블이 없는 에고세트릭 비디오 데이터로 훈련된 모델이 LFWA 및 CelebA와 같은 표준 벤치마크에 일반화 가능한가?
• RQ4 학습된 특징이 효과적으로 포착하는 얼굴 특성 유형(신원 관련 vs. 비신원 관련)은 무엇인가?
• RQ5 대규모 신원 레이블이 있는 데이터셋으로 사전 훈련된 모델과 비교했을 때 학습된 특징는 어떻게 다른가?

주요 결과

• 제안된 방법은 수동 레이블링이 없는 상태에서 신경망을 처음부터 훈련한 경우보다 얼굴 특성 분류 성능에서 뛰어난 성능을 보이며, 비감독 사전 훈련의 효과성을 입증한다.
• 수동으로 레이블링된 신원 데이터를 사전 훈련에 사용하지 않더라도, 표준 벤치마크에서 최신 기술 수준을 초월하는 성능을 달성한다.
• 노드 활성화 시각화 결과에 따르면, 위치 기반 감독을 통해 인종에 대한 강력한 사전 지식을 학습함을 확인할 수 있었으며, 이는 인종 특화의 얼굴 특징에 초점을 맞춘 시각화 결과로 확인된다.
• 날씨 기반 사전 훈련은 안경, 모자와 같은 비신원 관련 특징을 포착할 수 있었으며, 시각화된 뉴런들이 국소적인 얼굴 구성 요소를 강조함을 확인할 수 있었다.
• 신원과 맥락의 공동 최적화는 자세, 조도, 표정 변화와 같은 다양한 조건에서도 더 강건한 특징을 생성함을 증명함으로써 성능 향상을 이룬다.
• 소량의 수동 레이블링을 통한 미세조정이 뛰어난 성능을 보이며, 비감독 특징 학습의 품질을 확인한다.