[論文レビュー] Computational bioacoustics with deep learning: a review and roadmap

Dan Stowell|arXiv (Cornell University)|Dec 13, 2021

Animal Vocal Communication and Behavior被引用数 35

ひとこと要約

深層学習が計算生物音響学に適用される方法の包括的なレビュー。現在の実践、アーキテクチャ、表現、将来の研究ロードマップを概説。

ABSTRACT

Animal vocalisations and natural soundscapes are fascinating objects of study, and contain valuable evidence about animal behaviours, populations and ecosystems. They are studied in bioacoustics and ecoacoustics, with signal processing and analysis an important component. Computational bioacoustics has accelerated in recent decades due to the growth of affordable digital sound recording devices, and to huge progress in informatics such as big data, signal processing and machine learning. Methods are inherited from the wider field of deep learning, including speech and image processing. However, the tasks, demands and data characteristics are often different from those addressed in speech or music analysis. There remain unsolved problems, and tasks for which evidence is surely present in many acoustic signals, but not yet realised. In this paper I perform a review of the state of the art in deep learning for computational bioacoustics, aiming to clarify key concepts and identify and analyse knowledge gaps. Based on this, I offer a subjective but principled roadmap for computational bioacoustics with deep learning: topics that the community should aim to address, in order to make the most of future developments in AI and informatics, and to use audio data in answering zoological and ecological questions.

研究の動機と目的

• 深層学習が現在計算生物音響学でどのように使用されているかを明確にし、分類群とタスク全体における標準的な実践を要約する。
• AI活用生物音響学における知識ギャップと十分に探求されていないトピックを特定し、今後の研究を指針とする。
• 深層学習の進展を生態学的・動物学的問いと統合した原理的なロードマップを提供する。

提案手法

• 2016年以降に発表された生物音響の深層学習に関する既存文献を、Google ScholarとWeb of Scienceのキーワード検索を用いて調査する。
• データ準備、モデルアーキテクチャ、評価指標を含む、生物音響の分類、検出、セグメンテーションの標準的なDLパイプラインを要約する。
• 入力表現（スペクトログラム、ウェーブフォーム等）、データ増強、訓練手法を生物音響データの文脈で論じる。
• ニューラルネットワークアーキテクチャ（CNNs、CRNNs、TCNs、attention/transformers）をレビューし、それらの生物音響タスクへの適用可能性を検討する。
• カバーする分類群（鳥類、クジラ類、コウモリ、哺乳類、アヌラン類、昆虫、魚類）とデータの課題（データ過多、データの不均衡など）を強調する。
• 分野を進展させるために、コミュニティが取り組むべきDLと生物音響のトピックを強調したロードマップを提案する。

実験結果

リサーチクエスチョン

• RQ1 分類群とタスクを横断した計算生物音響における深層学習手法の現状はどのようか。
• RQ2 生物音響の分類と検出に最も効果的なニューラルネットワークアーキテクチャと入力表現はどれか。
• RQ3 深層学習を用いた計算生物音響学の今後の研究を導く主要な知識ギャップと機会は何か。

主な発見

• CNNベースのアーキテクチャが分類と検出の生物音響DLワークフローを支配している。
• スペクトログラムベースの入力（多くはmelまたはCQT）が標準で、PCENが有用な正規化として、複数のスペクトログラム表現や生波形アプローチの潜在的利点が探求されている。
• CRNNsと新しいアーキテクチャ（attention/transformersと時系列CNNを含む）を検討しており、タスクにより利得はまちまちで、訓練の複雑さは異なる。
• まれに発生する音に対しては、検出→分類の2段階ワークフローが一般的だが、エンドツーエンドの検出/分類も検討されている。
• 分類群の焦点は広く、鳥類と海棲哺乳類がよく表れ、コウモリ、霊長類、昆虫、魚類、その他の分類群とともにデータの課題と大規模データセット（例: BirdCLEF）が進展を促している。