[논문 리뷰] Automatic Recognition of Mammal Genera on Camera-Trap Images using Multi-Layer Robust Principal Component Analysis and Mixture Neural Networks

Jhony-Heriberto Giraldo-Zuluaga, Augusto Salazar외 2명|arXiv (Cornell University)|2017. 05. 08.

Advanced Measurement and Detection Methods인용 수 9

한 줄 요약

이 논문은 다층 강력 주성분 분석(Multi-Layer RPCA)을 사용해 영상 분할을 수행하고, 딥 컨volution 신경망(CNN)을 통해 특징을 추출하며, LASSO를 통해 특징 선택을 수행하고, ANN 또는 SVM을 분류기로 사용하는 완전 자동화된 방법을 제안한다. 이 방법은 자동으로 분할된 영상에서 8개의 포유류 분류군에 더해 가짜 양성(False Positive) 클래스를 포함한 총 9개 클래스를 92.65%의 정확도로 분류하며, 고가짜 양성 비율 조건에서도 뛰어난 성능을 보여준다.

ABSTRACT

The segmentation and classification of animals from camera-trap images is due to the conditions under which the images are taken, a difficult task. This work presents a method for classifying and segmenting mammal genera from camera-trap images. Our method uses Multi-Layer Robust Principal Component Analysis (RPCA) for segmenting, Convolutional Neural Networks (CNNs) for extracting features, Least Absolute Shrinkage and Selection Operator (LASSO) for selecting features, and Artificial Neural Networks (ANNs) or Support Vector Machines (SVM) for classifying mammal genera present in the Colombian forest. We evaluated our method with the camera-trap images from the Alexander von Humboldt Biological Resources Research Institute. We obtained an accuracy of 92.65% classifying 8 mammal genera and a False Positive (FP) class, using automatic-segmented images. On the other hand, we reached 90.32% of accuracy classifying 10 mammal genera, using ground-truth images only. Unlike almost all previous works, we confront the animal segmentation and genera classification in the camera-trap recognition. This method shows a new approach toward a fully-automatic detection of animals from camera-trap images.

연구 동기 및 목표

• 야생 모니터링에서 낮은 품질의 노이즈가 많은 카메라 트랩 영상과 높은 가짜 양성 비율 문제를 해결하기 위해.
• 수동 분할에 의존하지 않고 동시에 동물 분할과 분류를 수행하는 통합 시스템을 개발하기 위해.
• 깊이 학습된 CNN과 LASSO 기반 특징 선택을 융합하여 노이즈와 중복 특징을 제거함으로써 분류의 강인성을 향상시키기 위해.
• 콜롬비아 숲에서의 실제 카메라 트랩 데이터를 대상으로 실험하여 저조도, 운동 왜곡 등 도전적인 조건에서도 성능을 평가하기 위해.
• 수동으로 레이블링된 기준값과 비교했을 때 자동 분할이 높은 분류 정확도를 달성할 수 있음을 입증하기 위해.

제안 방법

• 다층 강력 주성분 분석(Multi-Layer RPCA)을 사용해 배경 변화와 노이즈를 처리하면서도 카메라 트랩 영상에서 동물을 자동으로 분할한다.
• 딥 컨volution 신경망(CNN), 포함 GoogLeNet, ResNet50, ResNet101, ResNet152 및 자체 개발한 MixtureNet을 활용해 분할된 영상 패치에서 계층적 특징을 추출한다.
• LASSO(최소 절대 수축 및 선택 연산자)를 적용하여 가장 관련성이 높은 특징을 선택함으로써 차원을 감소시키고, 노이즈 또는 중복된 특징을 제거함으로써 모델의 강인성을 향상시킨다.
• 인공 신경망(ANN)과 서포트 벡터 머신(SVM)을 분류기로 사용하여 선택된 특징에 분류 레이블을 할당한다.
• 세 가지 실험 설정에서 방법을 평가한다: 전문가가 검증한 기준 분할, 가짜 양성 클래스 포함, 다층 RPCA를 통한 자동 분할.
• 정확도, F-measure, LASSO 선택 후 CNN 특징의 희박성 분석을 통해 성능을 측정한다.

실험 결과

연구 질문

• RQ1 다층 RPCA는 도전적인 환경 조건에서 카메라 트랩 영상에서 동물을 효과적으로 분할할 수 있는가?
• RQ2 자동으로 분할된 패치에서 훈련된 깊이 학습된 CNN은 전문가가 레이블링한 기준값에서 훈련된 것과 비교해 높은 분류 정확도를 달성할 수 있는가?
• RQ3 자동 분할에서 유도된 노이즈 또는 관련 없는 특징이 존재할 경우 LASSO 특징 선택이 분류 성능과 강인성을 향상시키는가?
• RQ4 자기 분할을 사용할 경우 가짜 양성 클래스의 포함 여부가 총 분류 정확도에 어떤 영향을 미치는가?
• RQ5 다양한 CNN 아키텍처(예: ResNet, GoogLeNet, MixtureNet)는 고가짜 양성 비율 조건에서 자동 분할 환경에서 어떻게 성능을 내는가?

주요 결과

• 자동 분할된 영상과 가짜 양성 클래스를 포함한 경우, 총 9개 클래스(8개 분류군 + FP)에 대해 92.65%의 분류 정확도를 달성하였다.
• 전문가가 검증한 기준 분할을 사용할 경우, 10개 클래스에 대해 90.32%의 정확도, 11개 클래스에 대해 90.15%의 정확도를 기록하여 수동 분할 조건에서도 뛰어난 성능을 보였다.
• MixtureNet 아키텍처는 자동 분할과 가짜 양성 클래스 포함 조건에서 가장 높은 정확도 92.65%를 기록하여 다른 CNN 모델보다 뛰어난 성능을 보였다.
• LASSO 선택을 통해 MixtureNet의 특징 차원이 96% 이상 감소하여 높은 희박성과 노이즈 특징에 대한 강인성을 입증하였다.
• 자동 분할 실험에서 클래스별 정확도의 표준편차는 낮아 3.62%로, 다양한 분류군 간에 안정적이고 일관된 성능을 보였다.
• 결과적으로 CNN은 IoU > 0.5인 패치를 효과적으로 분류할 수 있으며, 고가짜 양성 비율을 가진 자동 분할 영상에서 훈련된 경우에도 높은 성능을 보였다.