[논문 리뷰] Automated Detection of Equine Facial Action Units

Zhenghong Li, Sofia Broomé외 2명|arXiv (Cornell University)|2021. 02. 17.

Human-Animal Interaction Studies참고 문헌 21인용 수 9

한 줄 요약

이 논문은 영역 기반 객체 검출 및 이진 분류를 사용하여 말의 얼굴 운동 단위(AU) 자동 검출을 위한 딥러닝 기반 캐스케이드 프레임워크를 제안한다. 정의된 관심 영역(ROIs)을 사용할 경우 모델의 주의 집중과 정확도가 향상되어 눈과 하부 얼굴 영역의 9개 AU에서 유망한 성능을 달성하였으며, 이는 수작업으로 이루어지는 EquiFACS 레이블링을 자동화하는 데의 가능성을 입증한다.

ABSTRACT

The recently developed Equine Facial Action Coding System (EquiFACS) provides a precise and exhaustive, but laborious, manual labelling method of facial action units of the horse. To automate parts of this process, we propose a Deep Learning-based method to detect EquiFACS units automatically from images. We use a cascade framework; we firstly train several object detectors to detect the predefined Region-of-Interest (ROI), and secondly apply binary classifiers for each action unit in related regions. We experiment with both regular CNNs and a more tailored model transferred from human facial action unit recognition. Promising initial results are presented for nine action units in the eye and lower face regions. Code for the project is publicly available.

연구 동기 및 목표

• 말의 얼굴 운동 단위(AU)에 대한 수작업 레이블링 과정을 자동화하는 것 — EquiFACS에 정의된 바와 같이.
• 인간의 AU 인식 모델을 학습한 딥러닝 모델이 해부학적 차이가 있음에도 말에 적용될 수 있는지 조사하는 것.
• 관심 영역(ROI) 자르기와 객체 검출이 AU 분류 정확도 향상에 얼마나 효과적인지 평가하는 것.
• 특히 깜빡임과 같은 미세하거나 시간에 민감한 동작에 대해, 정적 이미지 기반 AU 검출의 한계를 평가하는 것.
• 동적 AU(예: 깜빡임, 귀 움직임 등)를 감지하기 위해 프레임워크를 영상으로 확장할 잠재적 가능성을 탐색하는 것.

제안 방법

• 이중 단계 캐스케이드 프레임워크: 첫 번째 단계에서 객체 검출기가 말 얼굴의 사전 정의된 관심 영역(ROIs, 예: 눈 부위, 하부 얼굴)을 식별한다.
• 두 번째 단계에서 캐드된 ROIs에 대해 이진 분류기가 개별 AU를 검출하며, 표준 CNNs(예: AlexNet)와 인간 AU 인식에서 미세조정된 모델을 사용한다.
• 사전 훈련된 인간 얼굴 AU 인식 모델에서 전이 학습을 활용하여 말 데이터에 대한 성능을 향상시킨다.
• Grad-CAM 시각화를 통해 모델의 주의 집중 영역을 분석하고 검증하여 분류기가 관련 얼굴 하위 영역에 집중하고 있음을 보장한다.
• 성능 평가에 5겹 교차 검증을 사용하며, 작은 비균형 데이터셋을 대상으로 정확도 및 F1-스코어 등의 지표를 사용한다.
• 전체 프레임에 대한 엔드 투 엔드 훈련과 ROIs에 대한 훈련을 비교하여 공간적 지도 학습의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 해부학적 차이가 있음에도 불구하고 인간 얼굴 AU 인식 모델을 학습한 딥러닝 모델이 말의 얼굴 AU 검출에 효과적으로 전이될 수 있는가?
• RQ2 사전 정의된 관심 영역(ROIs)을 사용할 경우 말의 AU 분류기 성능과 주의 집중 안정성이 유의미하게 향상되는가?
• RQ3 정적 이미지에서 말의 AU를 검출할 때 표준 CNNs와 전이 학습 모델 간의 성능 비교는 어떻게 되는가?
• RQ4 깜빡임(AU47, AU145)과 같은 시간에 민감한 동작에 대해 정적 이미지 기반 AU 검출의 한계는 무엇인가?
• RQ5 이 프레임워크는 영상 시퀀스에서 귀 운동 기술자(EADs) 또는 동적 얼굴 표정을 감지하기 위해 확장될 수 있는가?

주요 결과

• ROIs를 제외한 8개 AU에 대해 안정적인 성능을 기록하였으며, 정확도는 49.6%에서 65.2% 사이, F1-스코어는 47.9%에서 64.0% 사이였다.
• AU101(내측 눈썹 올림)의 경우 DRML 모델을 사용해 65.2%의 정확도와 64.0%의 F1-스코어를 달성하였으며, Grad-CAM 시각화 결과 ROIs 사용 시 올바른 내측 눈썹 영역에 주의를 기울였음을 확인하였다.
• DRML 모델은 특히 AU145(깜빡임)와 AU47(반반 깜빡임)와 같이 시각적으로 유사한 경우에 AlexNet보다 더 안정적인 성능을 보였다.
• AU47는 정적 이미지에서 미세한 시각적 차이가 있어 모델이 어려움을 겪었으며, 이는 신뢰할 수 있는 검출을 위해 영상 기반의 시간적 모델링이 필요함을 시사한다.
• 정적 이미지에서는 AU145(깜빡임)와 AU143(눈 감기)가 동일한 시각적 상태를 가지므로 모델이 이를 구분하지 못했으며, AU143는 표본 수가 적어 제외된 바 있다.
• Grad-CAM 시각화 결과, ROIs에 대해 훈련된 모델은 눈꺼풀, 코구멍, 입가 등 관련 얼굴 하위 영역에 집중하는 것으로 확인되었지만, 전체 프레임에 대해 훈련된 모델은 핵심 영역에 주의를 기울이지 못했다.