[論文レビュー] BioME: A Resource-Efficient Bioacoustic Foundational Model for IoT Applications

Heitor R. Guimarães, Abhishek Tiwari+3 more|arXiv (Cornell University)|Feb 10, 2026

Animal Vocal Communication and Behavior被引用数 0

ひとこと要約

BioME は、大規模教師モデルから蒸留され、FiLM によるモジュレーション特徴を強化した資源効率の自己教師付き音響エンコーダであり、エッジデバイス上の強力な性能と多様な生態系タスクを可能にする。

ABSTRACT

Passive acoustic monitoring has become a key strategy in biodiversity assessment, conservation, and behavioral ecology, especially as Internet-of-Things (IoT) devices enable continuous in situ audio collection at scale. While recent self-supervised learning (SSL)-based audio encoders, such as BEATs and AVES, have shown strong performance in bioacoustic tasks, their computational cost and limited robustness to unseen environments hinder deployment on resource-constrained platforms. In this work, we introduce BioME, a resource-efficient audio encoder designed for bioacoustic applications. BioME is trained via layer-to-layer distillation from a high-capacity teacher model, enabling strong representational transfer while reducing the parameter count by 75%. To further improve ecological generalization, the model is pretrained on multi-domain data spanning speech, environmental sounds, and animal vocalizations. A key contribution is the integration of modulation-aware acoustic features via FiLM conditioning, injecting a DSP-inspired inductive bias that enhances feature disentanglement in low-capacity regimes. Across multiple bioacoustic tasks, BioME matches or surpasses the performance of larger models, including its teacher, while being suitable for resource-constrained IoT deployments. For reproducibility, code and pretrained checkpoints are publicly available.

研究の動機と目的

• 資源制約のある IoT 展開に向けた効率的な生物音響表現学習を動機付ける。
• 大規模な教師モデルを蒸留しつつ、ドメイン横断的な一般化を維持して小型ながら強力なエンコーダを開発する。
• 低容量領域での分離を改善するモジュレーション対応特徴で表現を強化する。
• BEANS 生物音響ベンチマークと酪農蜂群モニタリングタスクで BioME の有効性を示す。

提案手法

• メルスペクトログラムを用いたパッチベースの音声エンコード（非重複の 16x16 パッチ）。
• メモリと計算を削減するためのグループ付きクエリ注意機構（GQA）と回転位置埋め込み（RoPE）を備えた Transformer ベースのエンコーダ。
• FiLM 条件付けにより各層でモジュレーションスペクトルに基づく文脈（MSAB 特徴）を注入し、生物音響信号へ表現を偏らせる。
• 層ごとの BEATs からの知識蒸留を、深さを揃えた薄い student（深さ 12 層）へ、層 {3,6,9,12} で中間整合性を L1 とコサイン類似性の損失で合わせる。
• 多域前学習（音声、環境音、生物音響録音）を行い、生態系一般化を向上させる。

Figure 1: Spectrogram (top row) and the modulation spectrum (bottom row) plots, averaged across samples, for three hummingbird species: Anna’s hummingbird ( annhum ), Broad-tailed hummingbird ( brthum ), and Costa’s hummingbird ( coshum ).

実験結果

リサーチクエスチョン

• RQ1 コンパクトな student エンコーダは層別蒸留を通じて大規模教師と同等または上回ることができるか？
• RQ2 FiLM によるモジュレーション特徴の導入は低容量モデルでの表現の分離性を改善するか？
• RQ3 アーキテクチャの選択（GQA、RoPE、Llama 由来の要素）はエッジデバイス上の効率と精度にどのような影響を与えるか？
• RQ4 エッジ展開と基礎展開で比較した場合、BEANS ベンチマークと蜂巣モニタリングタスクにおける BioME の性能トレードオフはどうなるか？

主な発見

• BioME 6M（エッジ）は最先端の効率性を達成し、BEANS タスクでベースラインより最大 15 倍少ないパラメータ数で上回る。
• BioME Small（26M）と Base（76M）は BEANS 全体スコアで教師 BEATs を超え、蒸留と帰納的バイアスの効果を示す。
• FiLM 経由のモジュレーション特徴（MSAB）は特徴の分離性を改善し、時には教師を超えるタスクもある。
• 最適化されたスペクトル分解能（NFFT=256）は分類と検出のバランスを取り、タスク全般で高い性能を発揮する。
• BioME は蜂群監視のエッジ性能が高く、最小モデルが BSTS でより大きなモデルを上回る逆スケーリング傾向を示す。

Figure 2: Block diagram of a single Transformer layer in the proposed BioME encoder. Patch embeddings are processed alongside side-channel context features, which are integrated at each layer through the Conditioner module implementing FiLM-based conditioning.