[論文レビュー] Automatic Sound Event Detection and Classification of Great Ape Calls Using Neural Networks

Zifan Jiang, Adrian Soldati+3 more|arXiv (Cornell University)|Jan 5, 2023

Animal Vocal Communication and Behavior被引用数 9

ひとこと要約

この論文は、wav2vec 2.0 の特徴量＋LSTM/Transformer からなるニューラルネットワーク パイプラインを用いて、生の連続音声からの大型類人猿の鳴き声を自動検出・分類する。チンパンジー、オランウータン、ボノボを横断して、フレームレベルの精度と F1 スコアが高い。wav2vec 2.0 の特徴量を微調整なしで強い一般化を示し、コードを公開している。

ABSTRACT

We present a novel approach to automatically detect and classify great ape calls from continuous raw audio recordings collected during field research. Our method leverages deep pretrained and sequential neural networks, including wav2vec 2.0 and LSTM, and is validated on three data sets from three different great ape lineages (orangutans, chimpanzees, and bonobos). The recordings were collected by different researchers and include different annotation schemes, which our pipeline preprocesses and trains in a uniform fashion. Our results for call detection and classification attain high accuracy. Our method is aimed to be generalizable to other animal species, and more generally, sound event detection tasks. To foster future research, we make our pipeline and methods publicly available.

研究の動機と目的

• 生の野外録音から大型類人猿の鳴き声を自動かつ正確に検出・分類する動機づけ。
• 複数の猿系統に対応できる一般化可能なパイプラインの開発。
• クロススpecies な鳴声検出・分類のための事前学習済み音声表現（wav2vec 2.0）の評価。
• 再現性の高い生物音響分析を促進するオープンソースワークフローの提供。

提案手法

• 音声を 16 kHz に変換し、20 ms フレームに分割。
• フレームごとに3種類の特徴を抽出：生波形、スペクトログラム、wav2vec 2.0 埋め込み。
• フレーム特徴をマッピングする系列モデル（双方向 LSTM または Transformer エンコーダ）を訓練し、自己回帰接続をオプションで適用して各フレームの鳴き声ラベルを推定。
• クラス不均衡には加重損失を用い、複数のランダムデータ分割で訓練を拡張。
• 3 つの猿データセット（chimpanzee, orangutan, bonobo）で、フレームレベルの精度、加重 F1、二値鳴き声の AUC-PR を評価。
• 再現性のある大型類人猿の SED のためのオープンソースパイプラインを提供。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの音声表現（wav2vec 2.0）が、大型類人猿種を横断した生物的鳴声検出・分類へ転用できるか。
• RQ2 フレームレベルの猿の鳴き声ラベリングにおける LSTM と Transformer 系列モデルの性能はどうか。
• RQ3 自己回帰接続は予測の時間的一貫性を改善するか。
• RQ4 モデルは猿種間および鳴き声-非鳴き声の二値検出へどの程度一般化できるか。
• RQ5 未知種（orangutan から bonobo へのゼロショット転送）の限界はどこか。

主な発見

ID	data	feature	model	dev acc.	dev f1	test acc.	test f1	aucpr
E1	chimp	waveform	lstm	51.7±2.1	35.4±2.5	51.0±3.6	34.7±4.3	-
E1.1	chimp	spectrogram	lstm	60.3±1.5	55.7±2.3	58.7±4.7	53.9±5.4	-
E2	chimp	wav2vec2	lstm	81.0±4.0	79.9±4.6	79.3±2.3	77.9±3.6	-
E2.1	chimp	wav2vec2	transformer	71.3±0.6	68.3±0.2	75.3±0.6	72.1±0.5	-
E3.1	chimp	wav2vec2	lstm (E2 + batch_size=4)	69.7±1.5	71.8±2.6	67.7±4.0	69.6±4.0	-
E3.2	chimp	wav2vec2	lstm (E2 + batch_size=8)	63.3±0.6	62.6±1.0	62.0±4.4	61.5±4.0	-
E3.3	chimp	wav2vec2	lstm (E2 + dropout=0.2)	80.7±3.5	80.0±4.4	78.0±1.7	76.8±2.7	-
E3.4	chimp	wav2vec2	lstm (E2 + dropout=0.1)	81.0±4.0	80.2±4.8	78.7±2.9	77.3±3.9	-
E3.5	chimp	wav2vec2	lstm (E2 + balance_weights)	81.0±3.6	79.6±4.4	79.3±2.3	78.3±3.6	-
E4	chimp	wav2vec2	lstm (E2 + autoregressive)	87.7±1.2	87.1±1.8	85.7±2.1	85.6±2.5	-
E5	orang	wav2vec2	lstm (= E4)	83.0±1.0	82.7±1.4	81.7±3.1	82.0±2.6	-
E5.1	orang	wav2vec2	lstm (E5 + binary target)	92.3±2.5	92.1±2.5	92.0±1.0	91.9±1.1	0.96
E6	bonobo	wav2vec2	lstm (= E4)	87.0±4.6	85.9±6.3	83.7±3.8	82.3±2.2	-
E6.1	bonobo	wav2vec2	lstm (E6 + binary target)	92.0±3.6	91.9±3.4	87.7±3.5	87.8±2.9	0.87
E7	bonobo	wav2vec2	lstm (= E5.1)	63.0±13	-	72.0±4.0	74.2±3.1	0.55

• wav2vec 2.0 の特徴量と LSTM が、chimpanzee データで waveform および spectrogram ベースラインを上回る。
• Transformer エンコーダは、データ量が小さい場合 chimpanzee データで LSTM に及ばない。
• 自己回帰接続は出力の一貫性と全体的な性能を向上させる。
• orangutan および bonobo データへモデルを拡張すると、フレームレベルの高い精度と F1 が得られ、二値鳴き声バリアントは強力な性能を示す（AUC-PR は最大 0.96）。
• orangutan から bonobo へのゼロショット転送は一般化の可能性を示す（AUC-PR 0.55）ため、種間跨ぎの SED モデルの余地がある。