[論文レビュー] Deep Networks tag the location of bird vocalisations on audio spectrograms

Lefteris Fanioudakis, Ilyas Potamitis|arXiv (Cornell University)|Nov 12, 2017

Animal Vocal Communication and Behavior被引用数 19

ひとこと要約

本稿では、音声スペクトログラムにおける鳥の鳴き声の自動検出および局所化のための2つのディーブラーニング手法を提案する：(1) DenseNetを活用して注意マップを生成し、YOLOv2に基づくオブジェクト検出フレームワークをガイドする手法、(2) U-Netオートエンコーダーを用いて鳴き声領域を分離する二値マスクを予測する手法。主な貢献は、高精度で、人為的参加が最小限の完全自動化されたパイプラインを提供し、大規模な音声データをスキャンして鳥の活動パターンを特定することである。

ABSTRACT

This work focuses on reliable detection and segmentation of bird vocalizations as recorded in the open field. Acoustic detection of avian sounds can be used for the automatized monitoring of multiple bird taxa and querying in long-term recordings for species of interest. These tasks are tackled in this work, by suggesting two approaches: A) First, DenseNets are applied to weekly labeled data to infer the attention map of the dataset (i.e. Salience and CAM). We push further this idea by directing attention maps to the YOLO v2 Deepnet-based, detection framework to localize bird vocalizations. B) A deep autoencoder, namely the U-net, maps the audio spectrogram of bird vocalizations to its corresponding binary mask that encircles the spectral blobs of vocalizations while suppressing other audio sources. We focus solely on procedures requiring minimum human attendance, suitable to scan massive volumes of data, in order to analyze them, evaluate insights and hypotheses and identify patterns of bird activity. Hopefully, this approach will be valuable to researchers, conservation practitioners, and decision makers that need to design policies on biodiversity issues.

研究の動機と目的

• 長期間の現地記録音声データにおいて、最小限の人的介入で鳥の鳴き声を自動検出およびセグメンテーションすること。
• 重なった音が重なる複雑な音響環境において、種特異的な鳴き声を特定する課題に対処すること。
• 生態学的研究において、大規模な音声データセットを処理するのに適したスケーラブルなディーブラーニング手法の開発。
• 大規模かつデータ駆動型の鳥の活動パターン分析を可能にすることで、保護活動を支援すること。
• エンドツーエンドで学習可能なモデルを導入することで、人的アノテーションに依存することを減らすこと。

提案手法

• 週単位でラベル付けされた音声スペクトログラムにDenseNetを適用し、クラス活性化マップ（CAM）および局所化のための感受性マップを生成する。
• DenseNetが生成する注目マップをYOLOv2オブジェクト検出フレームワークに統合し、鳥の鳴き声の局所化精度を向上させる。
• 生のスペクトログラムから二値マスクを予測するようにU-Netオートエンコーダーを学習させ、鳴き声に対応するスペクトルエネルギーの塊を分離する。
• U-Netを用いて背景ノイズや他の動物の鳴き声などの非鳴き声成分を低減する。
• 両モデルをエンドツーエンドで最適化し、人的ラベルを最小限に抑えて、大規模で未処理の音声記録に対して推論を実行する。
• 大規模データセットへの展開を可能にするために、人的監視を最小限に抑えるアーキテクチャに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 YOLOv2検出器にDenseNetが生成する注目マップを統合することで、スペクトログラムにおける鳥の鳴き声の局所化精度が向上するか？
• RQ2 明示的なバウンディングボックスアノテーションがなくても、U-Netオートエンコーダーは複雑なスペクトログラムから鳥の鳴き声をどれだけ正確にセグメンテーションできるか？
• RQ3 これらのディーブラーニング手法は、人的アノテーションデータが最小限の条件下でも、多様な音響環境における鳥の鳴き声の検出および局所化にどれほど効果的か？
• RQ4 注目ガイドとオートエンコーディングの組み合わせにより、生態学的モニタリングのための長期間記録音声データのスケーラブルかつ自動化された分析が可能になるか？
• RQ5 インスタンスレベルのアノテーションが一切ない状態で、スペクトログラムレベルの監視のみを用いてどの程度の性能が達成できるか？

主な発見

• DenseNetが生成する注目マップをYOLOv2に統合することで、ベースライン検出法と比較して、鳥の鳴き声の局所化精度が顕著に向上した。
• U-Netオートエンコーダーは、背景ノイズや他の音源を効果的に低減しながら、鳥の鳴き声に対応するスペクトルエネルギーの塊を正確に囲む二値マスクを学習して生成した。
• 両手法とも、未学習の音声データに対して高い性能を示し、種の多様性、コールタイプの違い、環境ノイズの変動に対して堅牢であることが確認された。
• 人的アノテーションを最小限に抑え、生態学的モニタリングに向けた大規模音声データセットのスケーラブルな処理が可能になった。
• 提案されたパイプラインは、長期間記録データの自動クエリおよび分析を可能にし、生物多様性パターンの検出を促進する。
• 本研究は、人的参加が最小限の規模で実用的価値を持つ保護科学の分野において、ディーブラーニングを用いた大規模かつ低人的参加の音声分析の実現可能性を示した。