[논문 리뷰] Towards Automatic Identification of Elephants in the Wild

Matthias Körschens, Björn Barz외 1명|arXiv (Cornell University)|2018. 12. 11.

Video Surveillance and Tracking Methods참고 문헌 8인용 수 31

한 줄 요약

이 논문은 제한된 훈련 이미지에서 개별 코끼리를 자동으로 식별할 수 있도록 YOLO 기반의 머리 감지, 사전 훈련된 ResNet50 특징, 주성분 분석(PCA), 그리고 SVM 분류를 결합한 컴퓨터 비전 시스템을 제안한다. 다수의 이미지가 각 코끼리당 사용될 경우, 시스템은 상위 1개 정답 정확도 74%와 상위 10개 정답 정확도 88%를 달성하여 가림과 시점 변화에 대한 강건성을 크게 향상시킨다.

ABSTRACT

Identifying animals from a large group of possible individuals is very important for biodiversity monitoring and especially for collecting data on a small number of particularly interesting individuals, as these have to be identified first before this can be done. Identifying them can be a very time-consuming task. This is especially true, if the animals look very similar and have only a small number of distinctive features, like elephants do. In most cases the animals stay at one place only for a short period of time during which the animal needs to be identified for knowing whether it is important to collect new data on it. For this reason, a system supporting the researchers in identifying elephants to speed up this process would be of great benefit. In this paper, we present such a system for identifying elephants in the face of a large number of individuals with only few training images per individual. For that purpose, we combine object part localization, off-the-shelf CNN features, and support vector machine classification to provide field researches with proposals of possible individuals given new images of an elephant. The performance of our system is demonstrated on a dataset comprising a total of 2078 images of 276 individual elephants, where we achieve 56% top-1 test accuracy and 80% top-10 accuracy. To deal with occlusion, varying viewpoints, and different poses present in the dataset, we furthermore enable the analysts to provide the system with multiple images of the same elephant to be identified and aggregate confidence values generated by the classifier. With that, our system achieves a top-1 accuracy of 74% and a top-10 accuracy of 88% on the held-out test dataset.

연구 동기 및 목표

• 최소한의 훈련 데이터와 상호 유사성이 높은 개체 간의 개별 코끼리 식별 과제를 해결하기 위해.
• 비상적인 데이터 수집 기간 동안 현장 생물학자들의 시간과 인지 부담을 줄이기 위해.
• 가림, 자세 변화, 이미지 품질 악화와 같은 실제 환경 조건에서의 식별 정확도 향상하기 위해.
• 동일한 코끼리의 다수의 이미지를 활용하여 분류기 신뢰도 점수를 집계함으로써 강건한 식별을 가능하게 하기 위해.
• 전이 학습과 앙상블 전략을 활용한 소수의 이미지로도 가능한 동물 식별의 실현 가능성을 입증하기 위해.

제안 방법

• YOLO 기반 객체 검출기가 입력 이미지에서 코끼리의 머리 부분을 국소화하여 관심 영역 특징을 추출한다.
• 사전 훈련된 ResNet50의 초기 및 중간 레이어에서의 오프더셰프 특징을 추출하여 소규모 데이터셋에서의 일반화 능력을 향상시킨다.
• 주성분 분석(PCA)을 적용하여 특징 차원을 감소시키면서도 분류에 유의미한 정보를 유지한다.
• 감소된 특징 표현을 사용하여 다중 클래스 식별을 위한 서포트 벡터 머신(SVM) 분류기를 훈련한다.
• 강건성을 향상시키기 위해 동일한 알려지지 않은 코끼리의 다수의 이미지를 별도로 처리하고, 그들의 신뢰도 점수를 평균 내거나 다数 투표 방식으로 통합한다.
• 웹 인터페이스를 통해 시스템을 배포하여 현장 생물학자들이 실시간 식별 작업을 지원할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 소수의 이미지 훈련(클래스당 4~8장)으로도 성능이 신뢰할 수 있는 소수의 이미지 식별 시스템이 가능할 수 있는가?
• RQ2 동일한 코끼리의 다수의 이미지를 사용할 경우, 가림과 시점 변화 상황에서 분류 정확도는 어떻게 향상되는가?
• RQ3 사전 훈련된 CNN의 초기 레이어에서 특징을 추출하는 것이 소규모이고 불균형한 야생 동물 데이터셋에서 성능 향상에 기여하는가?
• RQ4 이미지 품질이 열 劣하거나 부분적인 특징이 존재할 경우, 데이터 증강과 신뢰도 집계 전략이 오류를 얼마나 효과적으로 완화할 수 있는가?
• RQ5 객체 검출, 전이 학습, 앙상블 분류를 조합한 파이프라인은 실제 현장 조건에서 기존 방법보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• 단일 이미지를 사용할 경우, 시스템은 상위 1개 정답 정확도 56%와 상위 10개 정답 정확도 80%를 기록한다.
• 모든 알려지지 않은 코끼리에 대해 두 장의 이미지를 사용할 경우, 상위 1개 정답 정확도는 74%로 향상되고 상위 10개 정답 정확도는 88%에 도달하여 다중 이미지 집계의 효과를 입증한다.
• 8장 이상의 훈련 이미지를 가진 코끼리의 경우 상위 1개 정답 정확도가 70%를 초과하지만, 4장 미만의 이미지를 가진 코끼리는 30% 이하로 성능을 보이며 데이터 부족이 핵심 과제임을 시사한다.
• 초기 및 중간 레이어의 CNN 특징을 사용하고, PCA와 SVM를 결합한 전략이 네트워크의 최종 레이어에만 의존하는 것보다 더 우수한 성능을 낸다.
• 이미지 뒤집기와 같은 데이터 증강 기법은 특히 낮은 데이터 환경에서 SVM의 일반화 능력을 향상시킨다.
• 시스템의 성능는 바운딩 박스의 품질에 민감하게 영향을 받으며, 앙상블 컷팅 전략을 통해 향상 가능성이 있음을 시사한다.