[論文レビュー] NIPS4Bplus: a richly annotated birdsong audio dataset

Veronica Morfi, Yves Bas+3 more|arXiv (Cornell University)|Nov 6, 2018

Animal Vocal Communication and Behavior参考文献 30被引用数 5

ひとこと要約

NIPS4Bplus は、種のタグと鳥の鳴き声の正確な時間的アノテーションを組み合わせた、豊富にアノテートされた最初の鳥声音声データセットであり、音声イベント検出および分類の教師ありモデルの学習と評価を可能にする。マルチインスタンス学習およびマルチタスク学習フレームワークをサポートし、フランスおよびスペインの多様で現実的な記録を用いた、エコアコースティクス応用のベンチマークを提供する。

ABSTRACT

Recent advances in birdsong detection and classification have approached a limit due to the lack of fully annotated recordings. In this paper, we present NIPS4Bplus, the first richly annotated birdsong audio dataset, that is comprised of recordings containing bird vocalisations along with their active species tags plus the temporal annotations acquired for them. Statistical information about the recordings, their species specific tags and their temporal annotations are presented along with example uses. NIPS4Bplus could be used in various ecoacoustic tasks, such as training models for bird population monitoring, species classification, birdsong vocalisation detection and classification.

研究の動機と目的

• 音声の種のタグと鳴き声の正確な時間的境界が両方含まれた完全にアノテートされた鳥声データセットの不足に対処すること。
• 音声タグのみを用いてモデルを学習するか、最小限の教師信号で学習できるデータセットを提供することで、手作業による時間的アノテーションへの依存を低減すること。
• 複雑な複数種の音響環境における鳥の鳴き声検出および分類のための頑健なモデルの開発を可能にすること。
• フランスおよびスペインの多様で地理的に代表的な記録を用いて、生物多様性のモニタリングや個体群評価を含むエコアコースティクス分野の研究を支援すること。

提案手法

• 30時間のフィールド記録から構成されたデータセットは、フランスおよびスペインの39か所の地点で、SM2BATレコーダーとSMX-USマイクロフォンを用いて収集された。
• 種、場所、音響特徴の多様性を最大化するために、5,000件の選択された記録に対して分層的ランダムサンプリングを適用した。
• 種のタグは元の NIPS4B 2013 データセットから得られ、さらに専門のアノテーターによる手作業による確認と修正が行われた。
• 時間的アノテーションは、Sonic Visualiser を用いて手作業で作成され、各イベントは開始時刻、継続時間、および種または「不明」／「人間」タグでラベル付けされた。
• アノテーションプロセスには、重複する鳴き声の処理が含まれ、専門家の判断に基づき、音節をグループ化または分離した。また、特定不能または鳥以外の音声が含まれる記録は除外された。
• データセットには687件の記録が含まれ、そのうち587件が鳴き声を含んでおり、13件は時間的アノテーションが欠落しており、弱教師あり学習に使用可能である。

実験結果

リサーチクエスチョン

• RQ1 種のタグと時間的アノテーションを両方備えた豊富にアノテートされたデータセットは、複雑な自然音響環境における音声イベント検出および分類モデルの性能を向上させることができるか？
• RQ2 時間的アノテーションが正しく与えられたデータセット上で評価された場合、音声タグのみで学習されたモデルはどの程度効果的か？
• RQ3 イベントの分割方法（グループ化 vs. 分離）が異なる時間的アノテーション戦略が、モデルの頑健性および一般化性能をどの程度向上させられるか？
• RQ4 複数種の鳥が重なって鳴く状況がモデルの性能に与える影響は何か？また、このデータセットはこのような複雑さに対処できるモデルの学習を支援できるか？
• RQ5 NIPS4Bplus は、音声イベント検出におけるマルチタスク学習およびマルチインスタンス学習アプローチの評価のベンチマークとして機能できるか？

主な発見

• データセットは、中央フランス、南中央フランス、東アンダルシアという3つの異なる地域からの687件の記録から構成されており、地理的および生態的多様性を確保している。
• 687件の記録のうち587件が鳥の鳴き声を含んでおり、13件は時間的アノテーションが欠落しており、弱教師あり学習リソースとして利用可能である。
• 1回の記録あたり1〜6種のアクティブな種が含まれており、13件の記録は背景ノイズまたは特定不能な音声のみで、7件は昆虫音のみで、いずれも「不明」とラベル付けされた。
• 時間的アノテーションは1名の専門家アノテーターによって作成され、感覚的判断に基づきイベントの境界が変動したため、モデルが分離されたイベント表現と連続的イベント表現の両方を学習できるようにした。
• データセットは、時間的ラベル付きの完全教師あり学習設定と、タグのみの弱教師あり学習設定の両方でモデルの学習と評価を可能にしている。
• 実例の応用では、NIPS4Bplus がマルチインスタンス学習損失関数および音声タギングとイベント検出のためのマルチタスク学習モデルの学習に有用であることが示された。