[논문 리뷰] CatFLW: Cat Facial Landmarks in the Wild Dataset

George Martvel, Nareed Farhat외 2명|arXiv (Cornell University)|2023. 05. 07.

Face recognition and analysis인용 수 5

한 줄 요약

이 논문은 고양이의 해부학적으로 관련된 48개의 얼굴 랜드마크를 고양이 전용 얼굴 운동 단위(CatFACS)와 연결하여 애너테이션한 2016장의 야생 촬영 고양이 얼굴로 구성된 CatFLW 데이터셋을 소개한다. 이는 '인간이 참여하는 반감독 학습' 방식의 AI 보조 애너테이션 방법을 제안하여 랜드마크 애너테이션 시간을 1개 랜드마크당 단 5.2초로 줄였으며, 기존 수동 방법보다 훨씬 빠르게 고급 품질의 데이터셋을 효율적으로 구축할 수 있도록 했다. 이는 동물 정서 컴퓨팅 분야에 기여한다.

ABSTRACT

Animal affective computing is a quickly growing field of research, where only recently first efforts to go beyond animal tracking into recognizing their internal states, such as pain and emotions, have emerged. In most mammals, facial expressions are an important channel for communicating information about these states. However, unlike the human domain, there is an acute lack of datasets that make automation of facial analysis of animals feasible. This paper aims to fill this gap by presenting a dataset called Cat Facial Landmarks in the Wild (CatFLW) which contains 2016 images of cat faces in different environments and conditions, annotated with 48 facial landmarks specifically chosen for their relationship with underlying musculature, and relevance to cat-specific facial Action Units (CatFACS). To the best of our knowledge, this dataset has the largest amount of cat facial landmarks available. In addition, we describe a semi-supervised (human-in-the-loop) method of annotating images with landmarks, used for creating this dataset, which significantly reduces the annotation time and could be used for creating similar datasets for other animals. The dataset is available on request.

연구 동기 및 목표

• 고양이를 비롯한 동물의 얼굴 랜드마크 애너테이션을 위한 공개 가능하고 고품질의 데이터셋이 부족한 문제를 해결한다.
• 복잡한 동물의 얼굴 기능에 대해 수동 애너테이션이 시간이 오래 걸리고 오류가 발생하기 쉬운 문제를 해결한다.
• AI 보조를 통해 효율적이고 확장 가능한 애너테이션 파이프라인을 개발하여 정확도를 유지하면서도 랜드마크 레이블링 속도를 높인다.
• 표준화된 48개의 랜드마크를 기반으로 고양이의 표정 변화를 통증 및 정서 상태와 연결하여 자동으로 탐지할 수 있도록 한다.
• 향후 동물 정서 컴퓨팅 분야, 특히 고양이의 통증 평가 및 복지 모니터링 연구를 위한 기반을 마련한다.

제안 방법

• AI 예측이 인간 애너테이터를 안내하는 반감독 학습 기반의 '인간이 참여하는' 애너테이션 프레임워크를 활용한다.
• 이전에 약 600장의 애너테이션된 고양이 얼굴 이미지 데이터셋([18])을 기반으로 EfficientNet 기반 모델을 훈련시켜 초기 랜드마크 예측을 생성한다.
• 모델의 예측 결과를 인간 애너테이터의 시작 지점으로 활용하여, 전체적으로 랜드마크를 다시 그려내는 대신 잘못된 위치를 수정하는 데 집중한다.
• 초기 수동 애너테이션 데이터와 AI 예측 랜드마크 데이터를 결합하여 반복적으로 모델을 재훈련함(v1 → v2)으로써 정확도를 향상시킨다.
• 상호 애너테이터 신뢰도 검사를 위해 상관계수 ICC2를 적용하여 높은 일致성(0.998)을 달성한다.
• 다단계 애너테이션 프로세스를 구현: 10% 서브셋에 전문가 애너테이션을 적용하고, 나머지 데이터는 AI 보조 레이블링을 실시한 후 품질 검토 및 필터링을 수행한다.

실험 결과

연구 질문

• RQ1 완전히 수동으로 애너테이션하는 것에 비해, AI 보조 '인간이 참여하는' 방법이 고양이 얼굴의 48개 랜드마크 애너테이션에 소요되는 시간을 크게 줄일 수 있는가?
• RQ2 모델이 인간 검증 데이터를 반복적으로 재훈련할 경우, AI 예측이 애너테이션 효율성에 어느 정도 기여하는가?
• RQ3 고양이의 근육 구조와 CatFACS에 기반한 48개의 랜드마크를 사용할 경우, 통증이나 정서와 관련된 미세한 얼굴 변화를 신뢰성 있게 탐지할 수 있는가?
• RQ4 표준화된 해부학 기준을 사용할 경우, 여러 전문 애너테이터 간의 랜드마크 애너테이션 신뢰도는 어떻게 비교되는가?
• RQ5 제안된 애너테이션 파이프라인은 다른 동물 종에게도 일반화되어, 동물 정서 컴퓨팅 분야에서 유사한 데이터셋을 구축하는 데 활용될 수 있는가?

주요 결과

• AI 보조 애너테이션 방법을 통해 이미지당 평균 애너테이션 시간이 수동 방식의 약 6.5분에서 4.16분으로 35% 향상되었다.
• 랜드마크 당 애너테이션 시간이 이전 수동 연구의 20초 대비 5.2초로 감소하였다.
• 두 전문 애너테이터 간의 상관계수 ICC2는 0.998에 도달하여 거의 완벽한 일致성을 보였다.
• v1에서 v2로의 업데이트 과정에서 수동 조정이 필요로 하지 않는 랜드마크 비율이 두 배로 증가하여 모델 정확도 향상을 입증하였다.
• 2016장의 고양이 얼굴 이미지가 다양한 환경과 조건에서 촬영되었으며, 각 이미지에 48개의 해부학적으로 의미 있는 랜드마크가 포함되어 있다.
• 48개의 랜드마크는 고양이의 근육 구조와 CatFACS에 특별히 기반하여 선택되었으며, 내부 상태와 연결된 복잡한 얼굴 운동을 분석할 수 있도록 한다.