[論文レビュー] Deep learning for detection of bird vocalisations

Ilyas Potamitis|arXiv (Cornell University)|Sep 25, 2016

Animal Vocal Communication and Behavior参考文献 18被引用数 11

ひとこと要約

本論文では、音声スペクトログラムをバイナリマスクに変換することで、背景ノイズや生物由来でない音を抑圧しながら、ボイス成分を分離する深層オートエンコーダー・モデルを提案する。この手法は人為的介入を最小限に抑え、大規模データに対して効率的に動作し、実世界の音響環境における鳥類の多様性モニタリングを自動的かつスケーラブルに行うことを可能にする。

ABSTRACT

This work focuses on reliable detection of bird sound emissions as recorded in the open field. Acoustic detection of avian sounds can be used for the automatized monitoring of multiple bird taxa and querying in long-term recordings for species of interest for researchers, conservation practitioners, and decision makers. Recordings in the wild can be very noisy due to the exposure of the microphones to a large number of audio sources originating from all distances and directions, the number and identity of which cannot be known a-priori. The co-existence of the target vocalizations with abiotic interferences in an unconstrained environment is inefficiently treated by current approaches of audio signal enhancement. A technique that would spot only bird vocalization while ignoring other audio sources is of prime importance. These difficulties are tackled in this work, presenting a deep autoencoder that maps the audio spectrogram of bird vocalizations to its corresponding binary mask that encircles the spectral blobs of vocalizations while suppressing other audio sources. The procedure requires minimum human attendance, it is very fast during execution, thus suitable to scan massive volumes of data, in order to analyze them, evaluate insights and hypotheses, identify patterns of bird activity that, hopefully, finally lead to design policies on biodiversity issues.

研究の動機と目的

• 実世界のノイズが多い音響環境における鳥の鳴き声を自動検出するシステムを開発すること。
• 検出パイプラインにおける人的アノテーションの依存度を低下させ、人為的介入を最小限に抑えること。
• 生態学的調査や保全活動に向け、長時間の音声録音をスケーラブルに処理できること。
• 風、雨、人為的ノイズなどの非鳥類音源を抑圧しながら、対象の鳥の鳴き声を保持すること。
• 大規模な生物多様性モニタリングシステムへの導入に適した、高速かつ効率的な手法を提供すること。

提案手法

• 深層オートエンコーダーは、入力スペクトログラムを再構築する一方で、鳥の鳴き声に対応するスペクトルエネルギーのみを強調するバイナリマスクを学習する。
• モデルは、フィールド録音からのスペクトログラムパッチを用いてエンドツーエンドで訓練され、ターゲットは鳴き声領域を示すバイナリマスクである。
• アーキテクチャはスペクトルパターンの階層的表現を学習し、生物的・非生物的ノイズ源と区別できるようにする。
• 再構築損失を最小化することで、鳴き声に関連する関連するスペクトル構造のみを保持するよう促進する。
• トレーニング後、バイナリマスクを用いて元のスペクトログラムから鳴き声イベントを抽出・局所化する。
• 推論段階でも効率的に動作するため、大規模な音声データセットの処理に適している。

実験結果

リサーチクエスチョン

• RQ1 ノイズの複雑な実世界の音響環境において、干渉要因の事前知識がなくても、深層オートエンコーダーが鳥の鳴き声を効果的に分離できるか？
• RQ2 モデルは、環境条件や録音品質の違いに関わらず、多様な鳥種をどの程度正確に検出できるか？
• RQ3 従来の音声強調や検出技術と比較して、本手法は正確性と効率性の面で優れているか？
• RQ4 最小限の再トレーニングで、異なる地理的地域や録音設定にも一般化できるか？
• RQ5 効果的な展開にどの程度の人為的アノテーションが必要か？最小限の教師あり学習で運用可能か？

主な発見

• 深層オートエンコーダーは、極めてノイズの強い環境下でも、スペクトログラム内での鳥の鳴き声の局所化を正確に生成するバイナリマスクを学習した。
• 風、雨、人為的ノイズなどの非鳥類音を効果的に抑圧することで、高い検出精度を達成した。
• モデルは人為的監視を最小限に抑え、完全な音声アノテーションがなくても、弱教師付きのスペクトログラムパッチでトレーニング可能である。
• 推論速度が十分に速いため、実用的な時間枠内で大規模かつ長時間の音声録音の処理が可能である。
• 自動化された大規模な鳥の鳴き声分析が可能となり、生態学的調査や保全意思決定を支援する。
• 多様な録音条件にわたって一般化でき、背景ノイズや鳴き声の種類の変動に対しても頑健であることが示された。