[論文レビュー] Weakly-Supervised Classification and Detection of Bird Sounds in the Wild. A BirdCLEF 2021 Solution

Marcos V. Conde, Kumar Shubham+3 more|arXiv (Cornell University)|Jul 10, 2021

Animal Vocal Communication and Behavior被引用数 6

ひとこと要約

この論文は、アンサンブルモデル、確率補正、サイト固有のフィルタリングを活用して、複雑な音響環境における細分化された鳥の鳴き声分類および検出のための弱教師あり深層学習パイプラインを提示している。BirdCLEF 2021 チャレンジで10位（公開リーダーボード F1スコア 0.7801、非公開リーダーボード F1スコア 0.6738）を達成した。このアプローチにより、背景ノイズへの耐性が向上し、メタデータと信頼性補正を用いることで、多様な地理的サイトにわたる一般化性能が向上した。

ABSTRACT

It is easier to hear birds than see them, however, they still play an essential role in nature and they are excellent indicators of deteriorating environmental quality and pollution. Recent advances in Machine Learning and Convolutional Neural Networks allow us to detect and classify bird sounds, by doing this, we can assist researchers in monitoring the status and trends of bird populations and biodiversity in ecosystems. We propose a sound detection and classification pipeline for analyzing complex soundscape recordings and identify birdcalls in the background. Our pipeline learns from weak labels, classifies fine-grained bird vocalizations in the wild, and is robust against background sounds (e.g., airplanes, rain, etc). Our solution achieved 10th place of 816 teams at the BirdCLEF 2021 Challenge hosted on Kaggle.

研究の動機と目的

• 実世界のノイズの多い音響環境における細分化された鳥の鳴き声の検出および分類に耐性のある、弱教師ありのシステムを開発すること。
• 限定的な監視情報のもとで、長時間の音声記録から397種の鳥の種を分類する課題に取り組むこと。
• 場所とレアリティのメタデータを用いて、多様な地理的サイト（例：コロンビア、コスタリカ、アメリカ）にわたるモデルの一般化を向上させること。
• サイト固有の鳥類分布と誤分類のパターンに基づいた後処理フィルタを用いて、誤検出と誤検出を低減すること。
• 強力なアノテーションに依存しない最小限の条件下で、BirdCLEF 2021 ベンチマークで最先端の性能を達成すること。

提案手法

• Melスペクトログ램を入力特徴として用い、弱教師ありラベルが付与された音声データ上でアンサンブル型の深層畳み込みニューラルネットワーク（CNN）を学習した。
• 時間系列に基づく確率補正（PC）を適用し、クリップレベルおよび隣接フレーム統計量を活用して予測の信頼性を精緻化した。
• ハーバーサイン距離を用いて、特定の記録位置で実際に出現すると考えられる種に予測を制限するサイトに適したフィルタリング機構を実装した。
• 「nocall」（鳴き声なし）と誤って分類されやすい鳥を同定し、その重みを低減することで、偽陰性を低減する戦略を導入した。
• 記録の地理的地域に存在しない種の予測を削除するための偽陽性低減フィルタを適用した。
• モデルアンサンブルと補正済み確率、メタデータに基づくフィルタリングを統合し、テストセットに対する最終予測を生成した。

実験結果

リサーチクエスチョン

• RQ1 弱教師ありの深層学習モデルは、複雑な現実世界の音響環境における細分化された鳥の種分類に、どのように効果的に適応可能か？
• RQ2 地理的メタデータ（緯度、経度）を用いることで、鳴き声同定における検出性能をどの程度向上させ、偽陽性を低減できるか？
• RQ3 確率補正技術は、弱教師あり音声分類タスクにおけるF1スコアを著しく改善できるか？
• RQ4 後処理フィルタは、「nocall」クラスとの混同によって引き起こされる偽陰性をどの程度効果的に低減できるか？
• RQ5 統合されたパイプラインは、鳥の種が異なり、背景ノイズのプロファイルが異なる多様な記録サイトに一般化できるか？

主な発見

• 確率補正とフィルタリングを施した最終アンサンブルモデルは、公開リーダーボードで F1 スコア 0.7801、非公開リーダーボードで F1 スコア 0.6738 を達成し、BirdCLEF 2021 で 816 チーム中 10 位を獲得した。
• 確率補正により、コールセグメントにおける交差検証 F1 スコアがベースラインモデルと比較して +0.07 向上した。
• サイト固有の情報を統合することで、記録の地理的地域に存在しない種の予測をフィルタリングし、偽陽性が低減された。
• 「nocall」と誤って分類されやすい鳥を標的とした偽陰性低減戦略により、CV@0.54 の指標が 0.7836 まで向上した。
• 2020 年のコロンビア大学鳥の鳴き声識別チャレンジの最良ソリューションよりも、公開リーダーボードで +0.035、非公開リーダーボードで +0.018 のスコア向上を達成した。
• 4 つの異なる地理的サイト（COL, COR, SNE, SSW）にわたるパイプラインの性能は、地域ごとの音響的および種の多様性に強く対応しており、一般化性能が優れていることが示された。