[논문 리뷰] Multimodal Foundation Models for Zero-shot Animal Species Recognition in Camera Trap Images

Zalan Fabian, Zhongqi Miao외 11명|arXiv (Cornell University)|2023. 11. 02.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 카메라 트랩 이미지에서 시각적 기술서를 생성하고 외부 종 기술 기반 지식베이스와 매칭함으로써, 도메인 내 훈련 데이터 없이도 제로샷 동물 종 식별을 수행하는 WildMatch를 제안한다. 지식 증강과 지시 훈련을 통해 시각-언어 기반 모델을 전문가 수준의 기술서 생성에 최적화함으로써, WildMatch는 도메인 내 훈련 데이터 없이도 새로운 콜롬비아 카메라 트랩 데이터셋에서 77.54%의 마이크로 정확도를 달성한다.

ABSTRACT

Due to deteriorating environmental conditions and increasing human activity, conservation efforts directed towards wildlife is crucial. Motion-activated camera traps constitute an efficient tool for tracking and monitoring wildlife populations across the globe. Supervised learning techniques have been successfully deployed to analyze such imagery, however training such techniques requires annotations from experts. Reducing the reliance on costly labelled data therefore has immense potential in developing large-scale wildlife tracking solutions with markedly less human labor. In this work we propose WildMatch, a novel zero-shot species classification framework that leverages multimodal foundation models. In particular, we instruction tune vision-language models to generate detailed visual descriptions of camera trap images using similar terminology to experts. Then, we match the generated caption to an external knowledge base of descriptions in order to determine the species in a zero-shot manner. We investigate techniques to build instruction tuning datasets for detailed animal description generation and propose a novel knowledge augmentation technique to enhance caption quality. We demonstrate the performance of WildMatch on a new camera trap dataset collected in the Magdalena Medio region of Colombia.

연구 동기 및 목표

• 카메라 트랩 이미지 분석에 있어 전문가 레이블 데이터 의존도를 줄임으로써 야생 생물 모니터링의 높은 레이블링 비용 문제를 해결한다.
• 레이블이 없는 훈련 데이터가 존재하는 새로운 지리적 지역에서 제로샷 종 분류를 가능하게 한다.
• 실제 카메라 트랩 데이터에서 흔히 발생하는 도메인 이탈, 저품질 이미지, 분포 외 샘플에 대한 모델의 강건성을 향상시킨다.
• 자연어 사전 지식과 외부 지식만을 사용하여 세분화된 동물 종 식별을 위한 확장 가능하고 일반화 가능한 프레임워크를 개발한다.
• 신뢰할 수 있는 예측이 필수적인 실세계 보존 응용 분야에서 모델의 校정성과 신뢰도를 향상시킨다.

제안 방법

• LLaVA-7B와 같은 시각-언어 기반 모델을 지시 훈련하여 카메라 트랩 이미지에 대해 세부적이고 전문가 수준의 시각 기술서를 생성하도록 한다.
• 인간 레이블링 데이터와 GPT-4를 활용한 지식 증강을 조합한 하이브리드 파이프라인을 통해 도메인 특화 지식(예: 동물 형태, 행동, 서식지)을 기술서에 통합한다.
• 생물다양성 자료에서 수집한 텍스트와 지식 증강 기반 기술서를 활용해 외부 종 기술 기반 지식베이스를 구성한다.
• 대규모 언어 모델(Large Language Model, LLM)을 사용해 생성된 이미지 기술서를 지식베이스 내 가장 유사한 항목과 매칭함으로써 제로샷 분류를 수행한다.
• 자기 일관성 샘플링과 다수결 투표를 적용해 동일 동물 통과의 다중 프레임 간 시간적 순서 정보를 활용하여 예측 신뢰도를 향상시킨다.
• 안전 비즈니스 적용을 위한 신뢰성 있는 불확실성 추정을 확보하기 위해 ECE, MCE, ACE 지표를 사용해 모델의 校정성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 지시 훈련된 다중모odal 기반 모델이 충분히 세부적이고 정확한 시각 기술서를 생성하여 제로샷 종 분류를 가능하게 할 수 있는가?
• RQ2 기본 기술서 데이터에 지식 증강을 적용하면 세분화된 종 식별에 있어 기술서의 품질과 유용성이 어떻게 향상되는가?
• RQ3 기본 기술서 매칭 기반의 제로샷 프레임워크가 새로운, 볼 수 없는 지역의 카메라 트랩 데이터에서 정확도와 校정성 측면에서 지도 학습 기반 모델보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 추가 훈련이나 계산 자원 없이도 다중 프레임 시퀀스를 활용하면 제로샷 분류 성능이 어떻게 향상되는가?
• RQ5 특히 신뢰성과 불확실성 추정 측면에서 제로샷 모델의 예측은 지도 학습 기반 모델보다 얼마나 잘 校정되어 있는가?

주요 결과

• WildMatch는 도메인 내 미세조정 없이도 제로샷 추론만을 사용하여 Magdalena Camera Traps 데이터셋에서 77.54%의 마이크로 정확도와 71.73%의 매크로 정확도를 달성한다.
• 자기 일관성 및 다수결 투표를 통한 시퀀스 수준 예측 적용으로 마이크로 정확도가 70.12%에서 77.54%로 향상된다.
• 모델의 校정성 측면에서 WildMatch는 지도 학습 기반 ResNet-50 모델보다 뚜렷이 뛰어나며, MCE 0.0872, ACE 0.0118를 기록한 반면 지도 학습 모델은 MCE 0.3920, ACE 0.1490을 기록한다.
• 지시 훈련된 기술서 생성 파이프라인은 제로샷 또는 미세조정된 기반 모델 대비 분류에 더 유용하고 환영을 제어하는 데 뛰어난 성능을 보인다.
• GPT-4 평가 결과, 지시 훈련된 기술서는 평균 4.55/5.0점으로 더 세부적이고 정확하여 기반 모델을 크게 앞선다.
• 신뢰도 임계치를 적용해 인간의 개입을 유도하는 루팅 전략을 사용할 경우, 예측은 새로운 지역에 대해 약 85%의 분류 정확도를 기록하며 강력한 일반화 성능을 보였다.