[논문 리뷰] Adaptive Evidence Weighting for Audio-Spatiotemporal Fusion

Oscar Ovanger, Levi Harris외 1명|arXiv (Cornell University)|2026. 02. 03.

Animal Vocal Communication and Behavior인용 수 0

한 줄 요약

FINCH는 고정된 오디오 인코더와 시공간 prior를 융합할 때 샘플별로 맥락적 시공간 증거를 적응적으로 가중하여 오디오 전용과 고정 가중 융합 대비 정확도와 강건성을 향상시킵니다. 또한 오디오 전용 폴백을 보존하고 맥락 영향력을 한정합니다.

ABSTRACT

Many machine learning systems have access to multiple sources of evidence for the same prediction target, yet these sources often differ in reliability and informativeness across inputs. In bioacoustic classification, species identity may be inferred both from the acoustic signal and from spatiotemporal context such as location and season; while Bayesian inference motivates multiplicative evidence combination, in practice we typically only have access to discriminative predictors rather than calibrated generative models. We introduce extbf{F}usion under extbf{IN}dependent extbf{C}onditional extbf{H}ypotheses ( extbf{FINCH}), an adaptive log-linear evidence fusion framework that integrates a pre-trained audio classifier with a structured spatiotemporal predictor. FINCH learns a per-sample gating function that estimates the reliability of contextual information from uncertainty and informativeness statistics. The resulting fusion family \emph{contains} the audio-only classifier as a special case and explicitly bounds the influence of contextual evidence, yielding a risk-contained hypothesis class with an interpretable audio-only fallback. Across benchmarks, FINCH consistently outperforms fixed-weight fusion and audio-only baselines, improving robustness and error trade-offs even when contextual information is weak in isolation. We achieve state-of-the-art performance on CBI and competitive or improved performance on several subsets of BirdSet using a lightweight, interpretable, evidence-based approach. Code is available: exttt{\href{https://anonymous.4open.science/r/birdnoise-85CD/README.md}{anonymous-repository}}

연구 동기 및 목표

• 동일 목표를 위한 이질적이고 대략 독립적인 증거의 강건한 융합을 동기 부여한다.
• 기본 예측기를 재학습하지 않고도 맥락적(시공간) 증거를 적응적으로 가중하는 샘플별 게이팅 메커니즘을 개발한다.
• 오디오 전용 폴백을 명시한 이론적이고 경험적으로 안전한 융합 프레임워크를 제공한다.
• 가볍고 해석 가능한 접근법을 사용하여 대규모 생물음향 벤치마크에서 최첨단 또는 경쟁력 있는 성능을 입증한다.

제안 방법

• 로그-선형(전문가의 곱) 융합을 채택한다: log p(y|x,s) = log p_theta(y|x) + omega(x,s) * log p_psi(y|s).
• 비음수의 샘플별 융합 가중치 omega(x,s)를 두 층 MLP 게이팅 네트워크를 통해 학습한다.
• 오디오와 컨텍스트의 불확실성 및 정보성 특성, 메타데이터에서 omega(x,s)를 계산하고 omega를 [epsilon, omega_max]로 제약한다.
• 오디오 인코더를 고정하고 융합/게이팅 구성요소 및 컨텍스추얼 prior(AdaSTEM prior on CBI, metadata MLP on BirdSet)만 학습한다.
• 게이트 붕괴를 피하고 진정한 적응성을 보장하기 위해 분산 기반 정규화를 포함한다.
• 오디오 전용 폴백(omega=0)을 유지하고 맥락 영향력을 한정하여 강건성을 보장한다.

실험 결과

연구 질문

• RQ1 샘플별 맥락 증거의 적응적 가중이 고정 가중 융합 및 오디오 전용 기준선보다 생물음향 분류를 개선하는가?
• RQ2 FINCH 프레임워크가 정보가 있을 때 컨텍스트 우선순위를 활용하면서도 오디오 전용 폴백을 유지하는가?
• RQ3 대규모 조류 음향 벤치마크에서 이질적이고 약한 컨텍스트 신호에 대해 적응적 게이팅이 어떻게 성능을 내는가?
• RQ4 FINCH 내 서로 다른 시공간 priors(AdaSTEM on CBI vs. 학습된 메타데이터 prior on BirdSet)를 사용할 때의 영향은 무엇인가?

주요 결과

Model	CBI Acc	BirdSet PER (R/m/A)	BirdSet NES (R/m/A)	BirdSet UHH (R/m/A)	BirdSet SSW (R/m/A)
FINCH (ours)	0.826	0.824 / 0.232 / 0.429	0.936 / 0.245 / 0.679	0.927 / 0.536 / 0.747	0.642 / 0.025 / 0.688
Audio-only ( p_theta(y|x) )	0.806	–	–	–	–

• FINCH는 CBI에서 테스트 정확도 0.826으로, 오디오 전용(0.806)보다 높다(선형 프로브 프로토콜 하에서).
• BirdSet 부분집합에서 FINCH는 검색 AUROC, 탐지 cmAP, Top-1 정확도에서 오디오 전용 기준선을 매칭하거나 향상시킨다.
• 고정된 전역 융합 가중치는 제한된 이득을 제공하여 샘플별 적응의 가치를 강조한다.
• 컨텍스추얼 prior 단독으로는 성능이 좋지 않으며, 이득은 컨텍스트 자체가 아닌 선별적 통합에서 나온다는 것을 확인한다.
• FINCH는 CBI에서 최첨단 성능을 제공하고 BirdSet에서도 경량화되고 해석 가능한 융합으로 경쟁력 있는 결과를 보인다.