[論文レビュー] Western Mediterranean wetlands bird species classification: evaluating small-footprint deep learning approaches on a new annotated dataset

Juan Gómez-Gómez, Ester Vidaña-Vila+1 more|arXiv (Cornell University)|Jul 12, 2022

Animal Vocal Communication and Behavior被引用数 7

ひとこと要約

この論文は、20種の固有種からなる新たに作成された5,795件の音声抜粋から成るデータセットを用いて、西地中海の湿地帯における鳥類の種分類を目的として、VGG16、ResNet50、MobileNetV2という小規模なフォルトプリントを持つディープラーニングモデルを評価している。MobileNetV2はF1スコア0.789を達成し、ResNet50の0.834から5%以内の差にとどまるが、モデルサイズを約40倍小さくしたため、リソース制約のある生物音声監視デバイスに最適である。

ABSTRACT

The deployment of an expert system running over a wireless acoustic sensors network made up of bioacoustic monitoring devices that recognise bird species from their sounds would enable the automation of many tasks of ecological value, including the analysis of bird population composition or the detection of endangered species in areas of environmental interest. Endowing these devices with accurate audio classification capabilities is possible thanks to the latest advances in artificial intelligence, among which deep learning techniques excel. However, a key issue to make bioacoustic devices affordable is the use of small footprint deep neural networks that can be embedded in resource and battery constrained hardware platforms. For this reason, this work presents a critical comparative analysis between two heavy and large footprint deep neural networks (VGG16 and ResNet50) and a lightweight alternative, MobileNetV2. Our experimental results reveal that MobileNetV2 achieves an average F1-score less than a 5\% lower than ResNet50 (0.789 vs. 0.834), performing better than VGG16 with a footprint size nearly 40 times smaller. Moreover, to compare the models, we have created and made public the Western Mediterranean Wetland Birds dataset, consisting of 201.6 minutes and 5,795 audio excerpts of 20 endemic bird species of the Aiguamolls de l'Empordà Natural Park.

研究の動機と目的

• バッテリー駆動でリソースが制限される無線音響センサーネットワークに展開可能な、小規模なフォルトプリントを持つディープラーニングモデルの開発と評価を目的とする。
• モデルサイズと推論効率が極めて重要な実世界の生物音声応用において、正確な音声分類を実現する挑戦に応えること。
• 西地中海固有の20種の鳥類からなる、合計201.6分にのぼるアノテート済みの鳥の鳴き声データを含む、新規の公開可能なデータセットの作成とリリース。
• 大規模モデル（VGG16、ResNet50）と軽量アーキテクチャ（MobileNetV2）の間で、精度、推論速度、モデルサイズの観点から性能を比較すること。

提案手法

• 本研究では、VGG16、ResNet50、MobileNetV2という3つのディープニューラルネットワークを比較評価する。これらすべてが、新たに収集された鳥の鳴き声データセット上で微調整されている。
• 音声データはスペクトログラムに基づく表現を用いて前処理され、ディープラーニングモデルの入力特徴としてメルスペクトログ램が使用されている。
• ImageNetで事前学習された重みを用いた転移学習が適用され、西地中海の湿地帯に生息する鳥類データセット上で微調整され、種分類が実施された。
• モデルの性能はF1スコアを用いて評価され、全20種の鳥類にわたるバランスの取れた性能を評価するために、クラス平均F1スコアに注目している。
• モデルのフォルトプリントはパラメータ数とモデルサイズ（MB単位）の観点から測定され、組み込みデプロイメントに向けた効率性が強調されている。
• アギアモールス・デル・エンポルダ自然保護区に生息する20種の固有種鳥類からなる、5,795件の音声抜粋を含む新規データセットが作成され、公開された。

実験結果

リサーチクエスチョン

• RQ1 軽量ディープラーニングモデルは、実世界の西地中海の湿地帯環境において、小規模なフォルトプリントを維持しながら、高い分類精度を達成できるか？
• RQ2 この特定の生物音声データセットにおいて、MobileNetV2のF1スコアとモデルサイズは、VGG16 や ResNet50 といった大規模モデルと比べてどのように異なるか？
• RQ3 低消費電力の無線音響センサーネットワークにディープラーニングモデルをデプロイする際、モデルの精度と計算効率のトレードオフはどの程度か？
• RQ4 提案されたデータセットは、生物多様性モニタリングにおける鳥類の種分類を目的とした小規模フォルトプリントモデルの学習と評価をどの程度サポートできるか？

主な発見

• MobileNetV2は平均F1スコア0.789を達成し、ResNet50の0.834から5%未満の差にとどまり、顕著に低い複雑性で優れた性能を示した。
• より小さなサイズであるにもかかわらず、MobileNetV2はF1スコアおよびモデルフォルトプリントの両面でVGG16を上回り、VGG16の約40倍もモデルサイズが小さい。
• 提案された西地中海の湿地帯に生息する鳥類データセットには、20種の固有種からなる5,795件の音声抜粋が含まれており、合計201.6分の記録が収録されており、小規模フォルトプリントモデルのベンチマークに適している。
• ResNet50は最高のF1スコア（0.834）を達成したが、その大きなモデルサイズのため、リソースが限られたプラットフォームへのデプロイが制限される。
• MobileNetV2は、精度とモデル効率の両立が図られており、生態モニタリングシステムにおけるリアルタイムでデバイス上で実行可能な推論に最も適している。
• 本研究では、軽量モデルが特殊な生物音声タスクにおいて準最先端の性能を達成できることを示しており、遠隔地に設置されたバッテリー駆動のセンサーネットワークにおけるスケーラブルなデプロイを可能にした。