[논문 리뷰] A benchmark for computational analysis of animal behavior, using animal-borne tags

Benjamin Hoffman, Maddie Cusimano외 16명|arXiv (Cornell University)|2023. 05. 18.

Species Distribution and Climate Change인용 수 5

한 줄 요약

이 논문은 다수의 종과 센서 유형을 포함하는 1,654시간의 다중계통 생물로그 기록 데이터와 표준화된 레이블을 포함한, 계산적 동물 행동 분석을 위한 가장 큰 공개 기준 벤치마크인 BEBE를 소개한다. 이는 다양한 종과 센서 유형 간 기계 학습 방법의 체계적 비교를 가능하게 하며, 일반화 및 데이터 모odal리티 간 성능에 대한 핵심 과제를 드러낸다.

ABSTRACT

Animal-borne sensors (`bio-loggers') can record a suite of kinematic and environmental data, which are used to elucidate animal ecophysiology and improve conservation efforts. Machine learning techniques are used for interpreting the large amounts of data recorded by bio-loggers, but there exists no common framework for comparing the different machine learning techniques in this domain. This makes it difficult to, for example, identify patterns in what works well for machine learning-based analysis of bio-logger data. It also makes it difficult to evaluate the effectiveness of novel methods developed by the machine learning community. To address this, we present the Bio-logger Ethogram Benchmark (BEBE), a collection of datasets with behavioral annotations, as well as a modeling task and evaluation metrics. BEBE is to date the largest, most taxonomically diverse, publicly available benchmark of this type. Using BEBE, we compare the performance of deep and classical machine learning methods for identifying animal behaviors based on bio-logger data. As an example usage of BEBE, we test an approach based on self-supervised learning. To apply this approach to animal behavior classification, we adapt a deep neural network pre-trained with 700,000 hours of data collected from human wrist-worn accelerometers. We find that deep neural networks out-perform the classical machine learning methods we tested across all nine datasets in BEBE. We additionally find that the approach based on self-supervised learning out-performs the alternatives we tested, especially in settings when there is a low amount of training data available. In light of this, we are able to make concrete suggestions for designing studies that rely on machine learning to infer behavior from bio-logger data. Datasets and code are available at https://github.com/earthspecies/BEBE.

연구 동기 및 목표

• 동물 행동 연구에 적용된 생물로그 데이터에 대한 기계 학습 방법의 표준화된 평가 프레임워크 부족 문제를 해결한다.
• 다양하고 고급 품질의 레이블이 부여된 데이터셋을 포함한 공개 가능한 기준 벤치마크를 구축하여 재현 가능한 모델 개발을 지원한다.
• 모델링 과제와 평가 지표를 표준화하여 지도 학습 및 비지도 학습 기법 간 공정한 비교를 가능하게 한다.
• 생물로그 데이터 분석을 위한 새로운 알고리즘 개발을 위한 연구자들이 공통된 기준점을 확보할 수 있도록 지원한다.
• 종 간, 센서 유형 간, 행동 복잡성에 따른 모델 일반화의 핵심 과제를 규명하여 향후 연구를 이끌어내기 위함이다.

제안 방법

• 새로운 종 9종(조류, 포유류, 양서파충류, 해양 생물 포함)에서 149명의 개체로부터 다중 센서 생물로그 데이터(가속도계, GPS 등) 총 1,654시간을 수집 및 정제한다.
• 모든 데이터셋에 대해 인간이 레이블링한 표준화된 행동 에테로그램을 제작하여 종 간 일관된 행동 상태 정의를 확보한다.
• 두 가지 핵심 과제를 정의한다: 시퀀스 분류(지도 학습) 및 클러스터링(비지도 학습), 이를 통해 지도 학습 및 자기지도 학습 모델의 평가가 가능하도록 한다.
• 모든 데이터셋에서 지표 레이블과 모델 예측 간 비교를 위해 표준화된 평가 지표(예: F1 점수, 조정된 랜드 지수)를 구현한다.
• 모든 데이터셋, 모델, 평가 코드를 GitHub(https://github.com/earthspecies/BEBE) 및 Zenodo(doi:10.5281/zenodo.7947104)에 게시하여 공개 재사용 및 재현 가능성을 확보한다.
• 10종의 다양한 기계 학습 방법(CNNs, LSTMs, 클러스터링 알고리즘 포함)을 적용하여 기준 벤치마크 전반에서 성능을 평가하고 성능 추세 및 한계를 규명한다.

Figure 1: A) Examples of ethograms in BEBE. Left: gull ethogram with three behaviors. Right: a subset of the dog ethogram, with four behaviors. B) BEBE consists of nine annotated datasets, two tasks and a set of metrics that compare model predictions with the annotations. Datasets and code are publi

실험 결과

연구 질문

• RQ1 다양한 동물 종과 센서 모달리티에서 생물로그 데이터를 기반으로 한 행동 분류에 대해 다양한 기계 학습 모델은 어떻게 성능을 내는가?
• RQ2 사전 레이블이 없는 비지도 학습 방법은 얼마나 의미 있는 행동 패턴을 탐지할 수 있는가?
• RQ3 한 종 또는 특정 센서 유형에서 학습된 기계 학습 모델이 다른 종으로 일반화하는 데 있어 핵심 과제는 무엇인가?
• RQ4 데이터 품질, 기록 지속 시간, 레이블 일관성은 기준 벤치마크 전반에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 표준화된 기준 벤치마크는 계산적 동물 행동 분석 분야의 재현 가능성 향상과 혁신 가속화에 기여할 수 있는가?

주요 결과

• BEBE 기준 벤치마크는 9개 종의 149명의 개체에서 확보한 1,654시간의 레이블이 부여된 생물로그 데이터를 포함하여, 이와 유사한 기준 벤치마크 중 가장 크고 종 다양성이 높은 공개 기준 벤치마크이다.
• 지도 학습 모델은 일관된 레이블링과 더 긴 연속 기록 데이터에서 높은 성능를 보였으며, 종 간 F1 점수 범위는 0.65에서 0.92까지 다양했다.
• 비지도 클러스터링 방법은 특히 편두각이 뚜렷한 운동 패턴을 보이는 종(예: 극사자, 바다거북)에서 행동 상태를 탐지하는 데 중간 정도의 성공을 거두었다.
• 모델 성능는 종 간에 크게 차이가 났으며, 복잡하거나 미세한 행동을 보이는 종(예: 까마귀, 물새)에서는 낮은 정확도를 보여, 더 나은 데이터 표현 및 모델링 기법이 필요함을 시사한다.
• 기준 벤치마크는 데이터 전처리 및 센서 유형(예: 삼축 가속도계 대비 GPS)이 모델 일반화 및 성능에 중대한 영향을 미친다는 것을 드러냈다.
• 데이터셋, 코드, 평가 도구의 공개로 인해 커뮤니티에서의 채택이 이미 이루어졌으며, 여러 연구 팀이 BEBE를 활용해 방법 개발 및 검증을 수행하고 있다.

Figure 2: A) Summary of training and evaluation. For both supervised and unsupervised models, we divide our process into three steps. In the first step, the model learns from the train set of one dataset. In the supervised case, this includes behavioral annotations. In the second step, the model mak