[논문 리뷰] A Scalable Approach for Facial Action Unit Classifier Training UsingNoisy Data for Pre-Training

Alberto Fung, Daniel McDuff|arXiv (Cornell University)|2019. 11. 14.

Emotion and Mood Recognition참고 문헌 47인용 수 7

한 줄 요약

이 논문은 다양한 주제에서 자동으로 주석이 달린 노이즈가 많은 얼굴 이미지 162,070장을 사용해 단순한 CNN을 사전 훈련한 후, 청소된 데이터로 미세 조정하는 확장성 있고 오픈소스인 얼굴 행동 단위(AU) 분류기 훈련 방법을 제안한다. 이 방법은 DISFA 데이터셋에서 기존의 가장 뛰어난 성능을 기록한 F1 스코어 0.60을 달성하여 더 복잡한 아키텍처를 능가한다. 이는 노이즈가 많은 사전 훈련과 높은 주제 다양성이 일반화 능력과 성능 향상에 기여함을 보여준다.

ABSTRACT

Machine learning systems are being used to automate many types of laborious labeling tasks. Facial actioncoding is an example of such a labeling task that requires copious amounts of time and a beyond average level of human domain expertise. In recent years, the use of end-to-end deep neural networks has led to significant improvements in action unit recognition performance and many network architectures have been proposed. Do the more complex deep neural network(DNN) architectures perform sufficiently well to justify the additional complexity? We show that pre-training on a large diverse set of noisy data can result in even a simple CNN model improving over the current state-of-the-art DNN architectures.The average F1-score achieved with our proposed method on the DISFA dataset is 0.60, compared to a previous state-of-the-art of 0.57. Additionally, we show how the number of subjects and number of images used for pre-training impacts the model performance. The approach that we have outlined is open-source, highly scalable, and not dependent on the model architecture. We release the code and data: https://github.com/facialactionpretrain/facs.

연구 동기 및 목표

• 수동적인 FACS 코드 작성에 필요한 높은 비용과 전문 지식을 줄이기 위해 자동화된 대규모 데이터를 사전 훈련에 활용하는 것.
• 라벨 정확도가 떨어지는 자동으로 주석이 달린 노이즈가 많은 데이터로 사전 훈련을 수행해도 AU 분류기 성능 향상이 가능한지 조사하는 것.
• 사전 훈련 데이터의 크기와 주제 다양성이 최종 AU 인식 성능에 미치는 영향을 규명하는 것.
• 학술적 및 상업적 목적을 위해 사용 가능한 대규모 오픈 데이터셋을 공개하는 것.
• 다양한 노이즈가 있는 데이터로 사전 훈련된 간단한 CNN 아키텍처가 복잡한 최신 기술 모델을 능가할 수 있음을 보여주는 것.

제안 방법

• MS-Celeb-1M 데이터셋에서 유저가 자동으로 주석이 달린 162,070장의 얼굴 이미지를 사용해 표준 컨volution 신경망(CNN)을 사전 훈련하고, OpenFace 2.0을 사용해 AU 주석을 생성한다.
• Google Knowledge Graph의 생물학적 정보를 활용해 사전 훈련 세트 내 각 주제의 성별과 국적을 추출한다.
• 청결한 수동 주석이 달린 DISFA 데이터셋을 사용해 사전 훈련된 모델을 AU 분류를 위해 미세 조정한다.
• 사전 훈련 세트에 포함된 이미지 수와 고유한 개인 수를 체계적으로 변화시켜 성능에 미치는 영향을 평가한다.
• 노이즈가 많은 사전 훈련과 고품질 데이터에서의 지도 미세 조정을 순차적으로 수행하는 이중 단계 파이프라인을 사용한다.
• 사전 훈련 데이터셋, 코드, 훈련된 모델을 오픈 라이선스 하에 공개해 재사용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 대규모 다채로운 얼굴 이미지 세트로 사전 훈련하면, 복잡한 아키텍처를 사용한 최신 기술 모델보다 AU 분류기 성능 향상이 가능할까?
• RQ2 사전 훈련 세트에 포함된 고유한 개인 수가 최종 AU 인식 정확도에 어떤 영향을 미치는가?
• RQ3 노이즈가 있는 레이블이 존재하는 상황에서도 사전 훈련에 사용된 총 이미지 수를 늘리면 성능 향상이 이루어지는가?
• RQ4 대규모 노이즈가 있는 데이터로 사전 훈련된 단순한 CNN이 더 복잡한 모델보다 성능이 뛰어날 수 있는가?
• RQ5 노이즈가 많은 사전 훈련으로 인한 성능 향상은 다양한 얼굴 외형에 걸쳐 일반화 능력 향상 때문인가?

주요 결과

• 제안된 방법은 DISFA 데이터셋에서 이전의 최고 성능인 F1 스코어 0.57을 뛰어넘어 F1 스코어 0.60을 달성했다.
• 사전 훈련 세트의 이미지 수와 고유한 개인 수가 증가할수록 성능이 계속해서 향상되었다.
• 노이즈가 있는 레이블을 생성한 원본 OpenFace 2.0 검출기보다도 모델 성능이 뛰어나, 노이즈 일반화 능력이 효과적으로 작용했음을 시사한다.
• 사전 훈련 중 주제 다양성을 높일수록 동일한 개인의 이미지 수를 늘리는 것보다 성능 향상 효과가 더 컸다.
• 이 방법은 아키텍처에 종속되지 않으며, 어떤 CNN 아키텍처에도 적용 가능해 광범위한 적용 가능성을 보여준다.
• 1,995명의 주제, 성별, 국적 메타데이터를 포함한 데이터셋의 공개는 향후 다양한 얼굴 인식 및 해석 가능한 AU 인식 연구를 가능하게 한다.