[논문 리뷰] BioME: A Resource-Efficient Bioacoustic Foundational Model for IoT Applications

Heitor R. Guimarães, Abhishek Tiwari외 3명|arXiv (Cornell University)|2026. 02. 10.

Animal Vocal Communication and Behavior인용 수 0

한 줄 요약

BioME는 생물음향 작업을 위한 자원 효율적인 자기지도 음향 인코더로, 대형 교사 모델에서 증류되고 FiLM으로의 조절 기반 특징으로 강화되어 에지 디바이스에서의 강력한 성능과 다양한 생태학적 과제에 걸친 성능을 가능하게 한다.

ABSTRACT

Passive acoustic monitoring has become a key strategy in biodiversity assessment, conservation, and behavioral ecology, especially as Internet-of-Things (IoT) devices enable continuous in situ audio collection at scale. While recent self-supervised learning (SSL)-based audio encoders, such as BEATs and AVES, have shown strong performance in bioacoustic tasks, their computational cost and limited robustness to unseen environments hinder deployment on resource-constrained platforms. In this work, we introduce BioME, a resource-efficient audio encoder designed for bioacoustic applications. BioME is trained via layer-to-layer distillation from a high-capacity teacher model, enabling strong representational transfer while reducing the parameter count by 75%. To further improve ecological generalization, the model is pretrained on multi-domain data spanning speech, environmental sounds, and animal vocalizations. A key contribution is the integration of modulation-aware acoustic features via FiLM conditioning, injecting a DSP-inspired inductive bias that enhances feature disentanglement in low-capacity regimes. Across multiple bioacoustic tasks, BioME matches or surpasses the performance of larger models, including its teacher, while being suitable for resource-constrained IoT deployments. For reproducibility, code and pretrained checkpoints are publicly available.

연구 동기 및 목표

• 제한된 자원을 가진 IoT 배치에서 효율적인 생물음향 표현 학습을 촉진한다.
• 크로스 도메인 일반화를 보존하면서 대형 교사 모델을 증류하여 작지만 강력한 인코더를 개발한다.
• 저용량 환경에서의 표현 해리(disentanglement)를 개선하기 위해 조절 기반 특징을 활용해 표현을 강화한다.
• BEANS 생물음향 벤치마크와 음향 벌집 모니터링 작업 전반에서 BioME의 효과를 입증한다.

제안 방법

• 멜 스펙트로그램을 이용한 패치 기반 오디오 인코딩과 서로 겹치지 않는 16x16 패치.
• 메모리 및 계산을 줄이기 위한 GQA(Grouped Query Attention)와 RoPE(Rotary Position Embedding)를 갖춘 트랜스포머 기반 인코더.
• FiLM 조건부가 각 층에서 변조-스펙트럼 기반 컨텍스트(MSAB 특징)를 주입하여 표현을 생물음향 신호에 편향시킨다.
• BEATs를 교사로 삼아 동일 깊이(12층)로 더 얇은 학생 모델에 층별 지식 증류를 수행하고, 층 {3,6,9,12}에서 중간 정렬과 L1과 코사인 유사도 손실을 사용한다.
• 생태 일반화를 향상시키기 위한 다중 도메인 사전학습(음성, 환경 소리, 생물음향 녹음).

Figure 1: Spectrogram (top row) and the modulation spectrum (bottom row) plots, averaged across samples, for three hummingbird species: Anna’s hummingbird ( annhum ), Broad-tailed hummingbird ( brthum ), and Costa’s hummingbird ( coshum ).

실험 결과

연구 질문

• RQ1 레이어별 증류를 통해 컴팩트한 학생 인코더가 생물음향 과제에서 대형 교사를 맞먹거나 능가할 수 있는가?
• RQ2 FiLM을 통한 조절 기반 특징의 도입이 저용량 모델의 표현 해리를 개선하는가?
• RQ3 아키텍처 선택(GQA, RoPE, Llama에서 영감을 받은 구성요소)이 에지 디바이스에서의 효율성과 정확도에 어떤 영향을 미치는가?
• RQ4 에지 대 베이스 배포로 확장될 때 BEANS 벤치마크와 벌집 모니터링 작업에서 BioME의 성능 트레이드오프는 어떤가?

주요 결과

• BioME 6M(Edge)는 최신의 효율성을 달성하여 BEANS 과제에서 최대 15배 적은 매개변수로 베이스라인보다 우수하다.
• BioME Small(26M)과 Base(76M)은 BEANS 전반 점수에서 교사 BEATs를 능가하며, 효과적인 증류 및 귀납 바이어스를 보여준다.
• FiLM을 통한 조절 특징(MSAB)은 특징 해리를 개선하여 학생이 특정 과제에서 때때로 교사를 능가하도록 한다.
• 최적화된 스펙트럼 해상도(NFFT=256)는 분류와 탐지의 균형을 맞추어 모든 과제에서 강력한 성능을 달성한다.
• BioME은 벌집 모니터링용 음향에서 강력한 에지 성능을 보이며, BSTS에서 가장 작은 모델이 더 큰 변형을 능가하는 반비례적 스케일링 경향을 보인다.

Figure 2: Block diagram of a single Transformer layer in the proposed BioME encoder. Patch embeddings are processed alongside side-channel context features, which are integrated at each layer through the Conditioner module implementing FiLM-based conditioning.