[論文レビュー] A Multi-modal Deep Neural Network approach to Bird-song identification

Botond Fazeka, Alexander Schindler+2 more|arXiv (Cornell University)|Nov 11, 2018

Animal Vocal Communication and Behavior参考文献 4被引用数 13

ひとこと要約

本論文では、音声スペクトログ램と環境的メタデータ（緯度、経度、高度、1日中の時間）を統合するマルチモーダル深層ニューラルネットワークを提案する。スペクトログラム処理にCNNを、メタデータ処理に全結合層を用い、BirdCLEF 2017チャレンジで最先端の性能を達成した。背景種を含む従来の記録では平均平均精度（MAP）が0.579、時間コード付き音響環境（time-coded soundscapes）では0.142を記録した。

ABSTRACT

We present a multi-modal Deep Neural Network (DNN) approach for bird song identification. The presented approach takes both audio samples and metadata as input. The audio is fed into a Convolutional Neural Network (CNN) using four convolutional layers. The additionally provided metadata is processed using fully connected layers. The flattened convolutional layers and the fully connected layer of the metadata are joined and fed into a fully connected layer. The resulting architecture achieved 2., 3. and 4. rank in the BirdCLEF2017 task in various training configurations.

研究の動機と目的

• 音声と文脈的メタデータ（位置、1日中の時間、高度）を統合した1つのディープラーニングモデルを用いて、鳥の鳴き声同定を向上させること。
• 生物多様性モニタリングにおけるノイズが多く、長さがばらつきやすい現地記録の課題に対処するため、頑健な音声セグメンテーションおよびデータ拡張技術を開発すること。
• 空間的・時間的メタデータを含むマルチモーダル入力が、鳥の鳴き声認識分類性能に与える影響を評価すること。
• データ拡張、スペクトログラムマスキング、マルチスケール入力処理を活用して、モデルの学習および推論を最適化すること。
• 音声ベースの生物多様性モニタリングに用いる深層学習モデルにおける、時間的解像度と周波数的解像度のトレードオフを明らかにすること。

提案手法

• 音声記録は、256または512のFFT窓サイズと50％のオーバーラップを用いたSTFTを用いて、メルスケールスペクトログラム（80バンド）に変換される。
• 中央値ベースのしきい値処理を用いて音声とノイズのセグメントを分離し、その後、モルフォロジカル操作（収縮と拡張）を実行してスペクトログラムマスクをクリーニングする。
• メタデータ（座標、高度、1日中の時間）は、欠損値を示すフラグを含む7要素のベクトルに符号化され、[0,1]に正規化される。
• スペクトログラム入力（80×512）は、指数線形ユニット（ELU）活性化関数と最大プーリングを用いた4層の畳み込み層を経由し、ドロップアウト（0.4）が適用される。
• メタデータは100ニューロンの全結合層で処理され、畳み込みニューラルネットワーク（CNN）とメタデータの特徴量がフラット化され、結合され、最終的な全結合層に送られる。
• データ拡張には、ノイズの重ね合わせ（最大4サンプル、±10％のボリューム変更）、クラス内音声の混合（確率70％、減衰率20–60％）、および隣接地域からのクラス間重ね合わせ（確率30％、減衰率30％±5％）が含まれる。

実験結果

リサーチクエスチョン

• RQ1 緯度、経度、高度、1日中の時間といったメタデータの統合は、音声のみのモデルと比較して、鳥の鳴き声分類精度をどの程度向上させるか？
• RQ2 スペクトログラムベースのディープラーニングにおける、周波数解像度（FFTサイズ）と時間解像度の最適なバランスは何か？
• RQ3 特にノイズと他種の音声重ね合わせを含むデータ拡張戦略は、実世界の現地記録におけるモデルの一般化性能をどの程度向上させるか？
• RQ4 長時間でノイズが多い、または断片的な記録（例：時間コード付き音響環境）の状況下で、マルチモーダル学習は音声のみのモデルを上回る性能を示すか？
• RQ5 モデルアンサンブル（例：異なるFFT設定からの予測を平均化）は、多様な評価タスクにおける性能をさらに向上させるか？

主な発見

• 本モデルは、背景種を含むBirdCLEF 2017の従来の記録（MAP w BS）タスクで平均平均精度（MAP）0.579を達成し、全提出物の中で1位となった。
• 時間コード付き音響環境（MAP w TC）では、MAPが0.142に達し、3位を記録した。これは、長時間にわたる複雑な記録でも高い性能を示していることを示している。
• 初期の90％の学習後、全データセットで訓練されたCynapse Run 3は、背景種を含まない従来の記録（MAP o MS）タスクで最高のMAP（0.514）を記録し、2位となった。
• アンサンブルモデル（Cynapse Run 4）は、Run 2（512 FFT）とRun 3（256 FFT）の予測を統合し、従来の記録タスクで最高の全体性能（MAP 0.579）を達成した。
• ELU活性化関数の使用により、ReLUと比較して学習時間を約300％短縮したが、同等の精度を維持し、バッチ正規化の必要性も排除した。
• 欠損メタデータに対してもモデルの頑健性が確認された。欠損値はバイナリフラグで示され、一部のメタデータが欠落していても性能が維持された。