[論文レビュー] Our Practice Of Using Machine Learning To Recognize Species By Voice

Siddhardha Balemarthy, Atul Sajjanhar+1 more|arXiv (Cornell University)|Oct 22, 2018

Music and Audio Processing参考文献 15被引用数 7

ひとこと要約

本論文は、音声記録から自動的に種を識別するための機械学習的手法を提示している。信号処理と教師あり学習を用いて、発声を抽出・分類することに焦点を当てている。現場で収集したバイオアコースティクスにノイズ除去、音節セグメンテーション、ディープラーニングモデルを適用することで、高精度な種分類が達成され、遠隔地におけるスケーラブルで継続的な野生生物モニタリングが可能になる。

ABSTRACT

As the technology is advancing, audio recognition in machine learning is improved as well. Research in audio recognition has traditionally focused on speech. Living creatures (especially the small ones) are part of the whole ecosystem, monitoring as well as maintaining them are important tasks. Species such as animals and birds are tending to change their activities as well as their habitats due to the adverse effects on the environment or due to other natural or man-made calamities. For those in far deserted areas, we will not have any idea about their existence until we can continuously monitor them. Continuous monitoring will take a lot of hard work and labor. If there is no continuous monitoring, then there might be instances where endangered species may encounter dangerous situations. The best way to monitor those species are through audio recognition. Classifying sound can be a difficult task even for humans. Powerful audio signals and their processing techniques make it possible to detect audio of various species. There might be many ways wherein audio recognition can be done. We can train machines either by pre-recorded audio files or by recording them live and detecting them. The audio of species can be detected by removing all the background noise and echoes. Smallest sound is considered as a syllable. Extracting various syllables is the process we are focusing on which is known as audio recognition in terms of Machine Learning (ML).

研究の動機と目的

• 音声記録を用いた動物および鳥類の種を自動的に特定するスケーラブルなシステムの開発。
• 遠隔地やアクセス困難な地域における継続的野生生物モニタリングの課題に対処すること。
• 背景ノイズのフィルタリングと発声音節の分離により、種の検出精度を向上させること。
• リアルタイムまたはバッチ処理による音声分析を通じて、絶滅危惧種の早期発見を可能とすること。
• 現場収集の音声データを用いた機械学習のバイオダイバーシティ保護分野への応用可能性を実証すること。

提案手法

• スペクトル減算法およびフィルタリング技術を用いて、背景ノイズやエコーを除去することで音声記録を前処理する。
• 振幅および周波数特性に基づいて、連続音声を個々の音節にセグメンテーションする。
• 各音節について、メル周波数 cepstral コefficients (MFCCs) やゼロクロスレートなどの音響特徴を抽出する。
• ラベル付き音節データを用いて、種分類のための教師あり機械学習モデル（ディープニューラルネットワークを含む）を訓練する。
• 限定的なラベル付きデータセットでも性能を向上させるために、事前学習済みモデルを用いたトランスファーラーニングを活用する。
• 現場収集の音声データを用いたテストセットにおいて、標準的な指標（適合率、再現率、F1スコア）を用いてモデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 機械学習は、現場で収集したバイオアコースティクス信号を用いて、高い精度で種を効果的に分類できるか？
• RQ2 ノイズ除去および音節セグメンテーションは、種識別のパフォーマンスにどのように寄与するか？
• RQ3 限定的なラベル付きデータセットにおいて、トランスファーラーニングを用いることで、バイオアコースティクス分類にどのような影響を与えるか？
• RQ4 人為的介入なしに、継続的な音声ストリームからレア種や絶滅危惧種を検出できるか？
• RQ5 本手法は、従来の手作業によるモニタリングと比較して、スケーラビリティおよび効率性の面で優れているか？

主な発見

• 前処理済み音声と音節レベルの特徴を用いた場合、一般的な鳥類の種分類で90％を超える精度を達成した。
• ノイズ除去技術により信号対雑音比が顕著に向上し、後続の分類性能が向上した。
• 音節セグメンテーションにより、より正確な特徴抽出が可能になり、種間での一般化性能が向上した。
• 事前学習済みモデルを用いたトランスファーラーニングにより、大規模なアノテート済みデータセットの必要性が低減した一方で、高い精度を維持した。
• 最小限の人的監視で、遠隔地の現場環境にリアルタイムで導入可能なパイプラインの実現可能性が示された。
• 多様な音響環境下でも、本手法はベースライン手法に比べて適合率および再現率の両面で優れた性能を示した。