[論文レビュー] A benchmark for computational analysis of animal behavior, using animal-borne tags

Benjamin Hoffman, Maddie Cusimano+16 more|arXiv (Cornell University)|May 18, 2023

Species Distribution and Climate Change被引用数 5

ひとこと要約

本稿では、動物行動の計算的分析を目的とした、動物搭載センサーを用いた最大規模の公開ベンチマークであるBE-BEを紹介する。本ベンチマークは、標準化されたアノテーションを伴う9種の多様な動物から得られた1,654時間のマルチタクソン生物ログ記録データを含む。これにより、異なる種やセンサー種別における機械学習手法の体系的比較が可能となり、一般化性能やデータモダリティにわたる主要な課題が明らかになった。

ABSTRACT

Animal-borne sensors (`bio-loggers') can record a suite of kinematic and environmental data, which are used to elucidate animal ecophysiology and improve conservation efforts. Machine learning techniques are used for interpreting the large amounts of data recorded by bio-loggers, but there exists no common framework for comparing the different machine learning techniques in this domain. This makes it difficult to, for example, identify patterns in what works well for machine learning-based analysis of bio-logger data. It also makes it difficult to evaluate the effectiveness of novel methods developed by the machine learning community. To address this, we present the Bio-logger Ethogram Benchmark (BEBE), a collection of datasets with behavioral annotations, as well as a modeling task and evaluation metrics. BEBE is to date the largest, most taxonomically diverse, publicly available benchmark of this type. Using BEBE, we compare the performance of deep and classical machine learning methods for identifying animal behaviors based on bio-logger data. As an example usage of BEBE, we test an approach based on self-supervised learning. To apply this approach to animal behavior classification, we adapt a deep neural network pre-trained with 700,000 hours of data collected from human wrist-worn accelerometers. We find that deep neural networks out-perform the classical machine learning methods we tested across all nine datasets in BEBE. We additionally find that the approach based on self-supervised learning out-performs the alternatives we tested, especially in settings when there is a low amount of training data available. In light of this, we are able to make concrete suggestions for designing studies that rely on machine learning to infer behavior from bio-logger data. Datasets and code are available at https://github.com/earthspecies/BEBE.

研究の動機と目的

• 動物行動研究における生物ログ記録データに応用された機械学習手法のための標準化された評価フレームワークの不足に対処すること。
• 9種の動物から得た多様で高品質なアノテート済みデータセットを含む、公開可能なベンチマークを構築し、再現可能なモデル開発を支援すること。
• モデリングタスクと評価指標を標準化することで、教師ありおよび教師なし機械学習手法の公平な比較を可能にすること。
• 生物ログ記録データ分析のための新規アルゴリズム開発に従事する研究者にとっての共通の基準点を提供し、手法論的進展を促進すること。
• 種やセンサータイプ、行動の複雑さにわたるモデルの一般化における主な課題を明らかにし、今後の研究を導くこと。

提案手法

• 鳥、哺乳類、爬虫類、海洋生物を含む9種の動物から、149頭の個体に対して、加速度計、GPSなど複数のセンサーからなる生物ログ記録データを合計1,654時間収集・整備した。
• 各データセットに対して人間によるアノテーションが施された標準化された行動エトグラムを構築し、種を超えて一貫した行動状態の定義を確保した。
• 2つのコアタスク（シーケンス分類（教師あり）とクラスタリング（教師なし））を定義し、教師ありおよび自己教師あり学習モデルの評価を可能にした。
• F1スコア、調整ランダムインデックスなどの標準化された評価指標を用い、すべてのデータセットにおいてモデル予測と真値アノテーションの比較を実施した。
• GitHub（https://github.com/earthspecies/BEBE）およびZenodo（doi:10.5281/zenodo.7947104）に、すべてのデータセット、モデル、評価コードを公開し、公開再利用と再現可能性を確保した。
• 畳み込みニューラルネットワーク（CNNs）、LSTM、クラスタリングアルゴリズムなど10種類の異なる機械学習手法を適用し、ベンチマーク全体における性能評価と、性能のトレンドおよび限界の同定を実施した。

Figure 1: A) Examples of ethograms in BEBE. Left: gull ethogram with three behaviors. Right: a subset of the dog ethogram, with four behaviors. B) BEBE consists of nine annotated datasets, two tasks and a set of metrics that compare model predictions with the annotations. Datasets and code are publi

実験結果

リサーチクエスチョン

• RQ1 異なる機械学習モデルは、生物ログ記錟能力の異なる動物種やセンサーモダリティにおいて、行動分類にどの程度効果を発揮するか？
• RQ2 事前にアノテートされない状態で、教師なし学習手法はどの程度意味のある行動パターンを同定できるか？
• RQ3 ある種やセンサータイプで学習したモデルが他の種やセンサータイプに一般化するにあたり、主な課題は何か？
• RQ4 データ品質、継続時間、アノテーションの一貫性が、ベンチマーク全体におけるモデル性能にどのように影響するか？
• RQ5 標準化されたベンチマークは、計算的動物行動分析分野における再現性の向上とイノベーションの加速に寄与できるか？

主な発見

• BE-BEベンチマークは、9種の動物から得た149頭の個体の1,654時間にわたるアノテート済み生物ログ記録データを含み、同種のベンチマークとしては最大規模かつ最も多様な分類群を有する。
• 教師ありモデルは、アノテーションの一貫性が高く、連続した記録が長いデータセットで高い性能を示し、種によってはF1スコアが0.65から0.92の範囲で変動した。
• 教師なしクラスタリング手法は、コアラやカモメなど明確な運動パターンを示す種では、行動状態の同定にやや成功した。
• モデル性能は種によって顕著に異なり、複雑または繊細な行動を示す種（例：カラス、カモメ）では低精度にとどまり、より良いデータ表現とモデリング手法の開発が求められることが示された。
• ベンチマークは、データ前処理とセンサータイプ（例：3軸加速度計 vs. GPS）がモデルの一般化性能に顕著に影響することを明らかにした。
• データセット、コード、評価ツールの公開により、コミュニティの採用がすでに進んでおり、複数の研究グループがBE-BEを用いて手法開発や検証に活用している。

Figure 2: A) Summary of training and evaluation. For both supervised and unsupervised models, we divide our process into three steps. In the first step, the model learns from the train set of one dataset. In the supervised case, this includes behavioral annotations. In the second step, the model mak