[논문 리뷰] DogFLW: Dog Facial Landmarks in the Wild Dataset

George Martvel, Greta Abele외 6명|arXiv (Cornell University)|2024. 05. 19.

Wildlife Ecology and ConservationEnvironmental Science인용 수 3

한 줄 요약

이 논문은 3,274장의 야생개 사진으로 구성된 DogFLW를 소개하며, 이는 개의 해부학적 특징에 기반한 46개의 얼굴 기준점을 포함하여 정밀한 개의 표정 분석을 위한 자동화된 분석을 가능하게 한다. 연구에서는 앙상블 학습 기반 접근법을 사용하여 기준점 검출을 평가하였으며, 전체 테스트 세트에서 정규화된 평균 오차(NME)가 5.31로 나타나, 품종 특성에 따른 형태적 다양성으로 인해 귀 부위에서 오차가 더 높게 나타났다.

ABSTRACT

Affective computing for animals is a rapidly expanding research area that is going deeper than automated movement tracking to address animal internal states, like pain and emotions. Facial expressions can serve to communicate information about these states in mammals. However, unlike human-related studies, there is a significant shortage of datasets that would enable the automated analysis of animal facial expressions. Inspired by the recently introduced Cat Facial Landmarks in the Wild dataset, presenting cat faces annotated with 48 facial anatomy-based landmarks, in this paper, we develop an analogous dataset containing 3,274 annotated images of dogs. Our dataset is based on a scheme of 46 facial anatomy-based landmarks. The DogFLW dataset is available from the corresponding author upon a reasonable request.

연구 동기 및 목표

• 비제어 환경에서 자동화된 개의 표정 분석을 위한 대규모이고 다양한 데이터셋이 부족한 문제를 해결하기 위해.
• DogFACS와 일치하는 표준화된 해부학 기반 기준점 체계(46점)를 개발하여 일관된 얼굴 기능 표현을 가능하게 하기 위해.
• 다양한 개 품종과 형태에 걸쳐 강력하고 일반화된 모델을 훈련시킬 수 있도록 하기 위해.
• 정서 인식, 건강 모니터링, 인간-개 상호작용 연구 등 개의 정서 컴퓨팅 분야의 연구를 지원하기 위해.
• 인간-개 복지 및 인지 과학 분야에서 인공지능 기반의 개의 표정 분석 기술 발전을 촉진할 수 있는 기준 데이터셋을 제공하기 위해.

제안 방법

• 개의 얼굴 근육 구조와 DogFACS에 기반한 46개의 해부학적 지침에 따라 기준점 주석을 부여하여 정서 컴퓨팅 기준과의 일관성을 확보하였다.
• 실생활 조건(예: 다양한 조명, 자세, 배경 등)을 반영하기 위해 다양한 출처에서 데이터를 수집하여 데이터셋의 현실성 향상.
• 다양한 딥러닝 아키텍처를 조합한 앙상블 학습 모델을 적용하여 기준점 검출의 강건성을 향상시켰다.
• 훈련용 2,500장, 테스트용 774장으로 균형 잡힌 분할을 적용하여 3,274장의 이미지에서 훈련 및 평가를 수행하였으며, 주요 평가 지표로는 정규화된 평균 오차(NME)를 사용하였다.
• 품종 및 귀 유형(직립, 처진, 반처짐)에 따라 하위군 분석을 수행하여 형태적 하위군 간 기준점 검출 성능의 변동성을 평가하였다.
• 얼굴 검출 오차로부터 기준점 검출 성능을 분리하기 위해 사전에 자르기 처리된 이미지를 사용하여 추론하였다.

Figure 1 : Annotated Dog’s Face. Image of a dog with a face bounding box and 46 facial landmarks.

실험 결과

연구 질문

• RQ1 개의 얼굴 기준점 검출 성능은 얼굴의 다양한 영역에서 어떻게 달라지며, 특히 귀 부위에서는 어떠한가?
• RQ2 품종 특성에 기반한 형태적 특징(예: 털 길이, 귀 유형 등)이 기준점 검출 정확도에 어느 정도 영향을 미치는가?
• RQ3 개의 얼굴 해부학에 기반한 단일 표준 기준점 체계가 다양한 개 품종 간 신뢰성 있고 일반화 가능한 표정 분석을 지원할 수 있는가?
• RQ4 데이터셋 구성(예: 품종 분포, 귀 유형의 빈도 등)이 모델의 일반화 능력과 오차율에 어떤 영향을 미치는가?
• RQ5 극도로 다양하게 변형된 형태를 가진 개에서 기준점 검출의 주요 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 전체 테스트 세트에서 기준점 검출의 정규화된 평균 오차(NME)는 5.31로 나타나 실생활 데이터셋에서 우수한 기초 성능을 확보하였다.
• 귀 부위에서 가장 높은 오차(NME = 13.19)를 보였으며, 눈(NME = 2.24)과 코(NME = 4.22)보다 유의미하게 높았는데, 이는 형태적 다양성과 가림 현상 때문이었다.
• 처린 귀를 가진 개에서 가장 높은 검출 오차(NME = 15.28)를 보였고, 반처림 귀(12.77), 직립 귀(9.79)의 순서로 오차가 높아, 품종의 형태학적 특성이 주요 과제임을 확인하였다.
• 얼굴 기능을 덮는 긴 털이 있는 품종(예: 아일랜드 워터 스피우너, 배쓰 허드)은 기준점 가림으로 인해 뚜렷한 오차 증가를 보였다.
• 짧고 매끄러운 털을 가진 품종(예: 차우아후아, 미니어처 핀셔)은 가장 낮은 검출 오차를 기록하여, 더 명확한 기능 노출이 모델 성능 향상에 기여함을 시사하였다.
• 귀 위치의 변동성(예: 콜리, 이비자 환)이나 가려진 기능(예: 초우)을 가진 품종의 특성으로 인해 모델 성능이 유의미하게 영향을 받았으며, 이는 더 다양한 훈련 데이터가 필요함을 시사한다.

Figure 2 : Examples of annotated images from the DogFLW.