[논문 리뷰] Deep Learning Models for Automated Classification of Dog Emotional States from Facial Expressions

Tali Boneh-Shitrit, Shir Amir외 5명|arXiv (Cornell University)|2022. 06. 11.

Human-Animal Interaction Studies인용 수 4

한 줄 요약

이 연구는 제어된 실험 데이터셋에서 촬영한 얼굴 표정을 이용해 개의 정서 상태—특히 긍정적 기대와 좌절—를 자동으로 분류하기 위한 딥러닝 프레임워크를 제안한다. 자기지도 학습 사전 훈련을 통해 DINO-ViT는 ResNet 및 기타 백본보다 뛰어난 정확도를 보이며, 정서 표현과 관련된 핵심 얼굴 부위에 집중된 국소화된 주의를 보였다.

ABSTRACT

Similarly to humans, facial expressions in animals are closely linked with emotional states. However, in contrast to the human domain, automated recognition of emotional states from facial expressions in animals is underexplored, mainly due to difficulties in data collection and establishment of ground truth concerning emotional states of non-verbal users. We apply recent deep learning techniques to classify (positive) anticipation and (negative) frustration of dogs on a dataset collected in a controlled experimental setting. We explore the suitability of different backbones (e.g. ResNet, ViT) under different supervisions to this task, and find that features of a self-supervised pretrained ViT (DINO-ViT) are superior to the other alternatives. To the best of our knowledge, this work is the first to address the task of automatic classification of canine emotions on data acquired in a controlled experiment.

연구 동기 및 목표

• 제어된 실험 데이터셋에서 얼굴 표정을 이용해 개의 정서 상태—특히 긍정적 기대와 좌절—를 자동으로 분류하는 딥러닝 시스템을 개발하는 것.
• ResNet 및 비전 트랜스포머(ViT)와 같은 다양한 딥러닝 백본의 개 정서 인식 성능을 평가하는 것.
• 모델 일반화 및 성능 향상을 위해 지도 학습(예: ImageNet)과 자기지도 학습(DINO) 전략을 비교하는 것.
• 활성화 맵을 활용해 모델의 해석 가능성과 행동 과학 개념(예: DogFACS 행동 유닛)과의 연결을 평가하는 것.
• 엄격하게 수집된 제어된 데이터셋을 기반으로 개 정서 컴퓨팅의 신뢰할 수 있고 객관적인 기준을 설정하는 것.

제안 방법

• 긍정적 기대와 좌절을 유도하기 위해 래브라도 리트리버를 사용한 제어된 실험 데이터셋을 활용하여 일관되고 신뢰할 수 있는 진단 기준을 확보했다.
• 다양한 백본(ResNet 및 비전 트랜스포머(ViT))을 사용해 지도 학습(ImageNet)과 자기지도 학습(DINO) 전처리 전략을 적용한 여러 딥러닝 모델을 훈련시켰다.
• 활성화 맵을 시각화하기 위해 Eigen-CAM을 적용하여 모델의 주의 집중 영역을 평가하고 눈, 귀, 코와 같은 얼굴 부위의 국소화 정도를 분석했다.
• 균형 잡힌 테스트 세트에서 표준 분류 지표(예: 정확도, F1 점수)를 사용해 모델 성능을 평가했다.
• DINO-ViT의 자기지도 학습 전처리를 통해 객체 부분에 민감한 의미적 풍부한 특징을 추출하여 미세한 얼굴 운동에 대한 성능 향상을 이끌었다.
• 모델 주의 집중 영역을 DogFACS 행동 유닛과 매핑하여 행동 과학 개념과의 일치성을 검증했다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 제어된 실험에서 촬영한 얼굴 표정을 기반으로 개의 정서 상태—특히 긍정적 기대와 좌절—를 정확하게 분류할 수 있는가?
• RQ2 이 작업에서 ResNet과 ViT와 같은 다양한 백본 아키텍처는 개 정서 인식 성능에서 어떻게 비교되는가?
• RQ3 이러한 저자원, 고변동성이 있는 동물 정서 인식 작업에서 자기지도 학습(DINO)이 지도 학습(ImageNet)보다 성능이 뛰어나게 되는가?
• RQ4 모델의 활성화 맵이 생물학적으로 관련 있는 얼굴 부위에 얼마나 잘 국소화되는가? 이는 DogFACS의 알려진 행동 유닛과 어떻게 관련되는가?
• RQ5 Eigen-CAM과 같은 설명 가능성 기법은 모델 예측과 실패 원인에 대한 이해 가능한 통찰을 제공할 수 있으며, 과학적 검증을 지원할 수 있는가?

주요 결과

• DINO-ViT 모델은 모든 테스트된 백본 중에서 가장 높은 분류 정확도를 기록했으며, ResNet과 ImageNet 사전 훈련된 ViT를 모두 앞섰다.
• DINO를 통한 자기지도 학습 전처리가 지도 학습(ImageNet) 전처리보다 유의미하게 높은 성능을 보였으며, 특히 미세한 얼굴 표정을 포착하는 데서 두드러졌다.
• ViT 기반 모델은 ResNet에 비해 눈, 귀, 코와 같은 주목할 만한 얼굴 부위에 더 뛰어난 주의 집중 능력을 보였으며, ResNet은 더 넓고 덜 집중된 활성화 패tern을 보였다.
• Eigen-CAM 시각화 결과 DINO-ViT는 동시에 여러 핵심 얼굴 부위를 자극하여 인간의 애너테이션 기반 DogFACS 행동 유닛과 일치하는 경향을 보였다.
• DINO-ViT 모델은 행동적으로 관련 있는 특징에 일관되게 주의를 기울였으며, 이는 모델의 특징가 객체 부분과 정서와 관련된 얼굴 운동에 민감하다는 것을 시사한다.
• Eigen-CAM은 클래스에 종속되지 않은 특성 덕분에, 잘못된 예측일 경우에도 설명 가능했으며, 실패 원인 분석과 특징의 관련성 평가를 가능하게 했다.