[論文レビュー] Multi-Label Classifier Chains for Bird Sound

Forrest Briggs, Xiaoli Z. Fern+1 more|arXiv (Cornell University)|Apr 22, 2013

Animal Vocal Communication and Behavior参考文献 14被引用数 6

ひとこと要約

本稿では、複数種の鳥の鳴き声を同時に記録した音声データにおいて、ヒストグラム・オブ・セグメント表現を用いた分類器チェーンのアンサンブル（ECC）を提案する。この手法は、ほとんどの場合でバイナリリレバンスを上回り、パrameterチューニングを行わないにもかかわらずMIML手法と同等の性能を示す。複数種の鳥の鳴き声が重なった記録において、ラベルの相関関係を効果的にモデル化し、複雑な音響環境を特徴とする2つの実世界データセットで最先端の結果を達成した。

ABSTRACT

Bird sound data collected with unattended microphones for automatic surveys, or mobile devices for citizen science, typically contain multiple simultaneously vocalizing birds of different species. However, few works have considered the multi-label structure in birdsong. We propose to use an ensemble of classifier chains combined with a histogram-of-segments representation for multi-label classification of birdsong. The proposed method is compared with binary relevance and three multi-instance multi-label learning (MIML) algorithms from prior work (which focus more on structure in the sound, and less on structure in the label sets). Experiments are conducted on two real-world birdsong datasets, and show that the proposed method usually outperforms binary relevance (using the same features and base-classifier), and is better in some cases and worse in others compared to the MIML algorithms.

研究の動機と目的

• 重なった音声と背景ノイズが混在する実世界の音声記録において、同時に鳴き声を上げる複数の鳥種を分類する課題に対処すること。
• 特に、アンサンブル・オブ・クラスファイアーチェーン（ECC）を用いたマルチラベル分類が、バイナリリレバンスよりもラベル集合の相関関係をより効果的に活用できるかどうかを検討すること。
• 2つの実世界データセット（高ノイズのiPhoneで記録された新規データセットも含む）において、ECCを既存のMIML手法と比較すること。
• パrameterチューニングの差を考慮しつつ、標準的なマルチラベル指標を用いてECCとバイナリリレバンスおよびMIMLアルゴリズムの性能を比較すること。

提案手法

• 2次元時間周波数の教師ありセグメンテーションアルゴリズムとクラスタリング済みコードブックを用いて、各音声記録を固定長のヒストグラム・オブ・セグメントに表現する。
• ヒストグラム・オブ・セグメント表現を用いて、可変長の鳥の鳴き声記録をマルチラベル分類に適した固定長の特徴ベクトルに変換する。
• 各チェーンがラベルの系列を介して二値分類器を学習する、ランダムフォレストベースのアンサンブル・オブ・クラスファイアーチェーン（ECC-RF）を用いてラベル相関をモデル化する。
• すべてのモデルが同じベース分類器（ランダムフォレスト）と特徴表現を使用するように、5または10分割交差検証を用いてECCモデルを訓練および評価する。
• ECC-RFをバイナリリレバンス（BR）および3つのMIMLアルゴリズム（MIMLSVM、MIMLRBF、MIML-kNN）と比較し、後者は最適なパフォーマンスを得るために事後的パrameterチューニングを実施する。
• ハミング損失、セット0/1損失、ランク損失、1エラー、カバレッジの標準的マルチラベル指標を用いて、すべての手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 同じ特徴表現とベース分類器を使用する場合、マルチラベル鳥の鳴き声分類において、アンサンブル・オブ・クラスファイアーチェーン（ECC）はバイナリリレバンスを上回ることができるか？
• RQ2 ECCによるラベル集合の相関関係のモデル化は、このような構造を無視する手法と比較して、複数種の鳥の鳴き声記録において性能を向上させるか？
• RQ3 重なった鳴き声と高ノイズを含む実世界の鳥の鳴き声データセットにおいて、ECCは最先端のMIMLアルゴリズムと比較してどうなるか？
• RQ4 ECCとMIML手法の性能差の主な要因が、マルチインスタンス構造のモデル化とラベル相関のモデル化の違いに起因する程度はどの程度か？
• RQ5 ヒストグラム・オブ・セグメント表現は、効果的なマルチラベル鳥種分類に必要な音響的およびラベル構造を十分に捉えられるか？

主な発見

• ECC-RFは、2つのデータセット全体で10回の性能比較のうち7回でバイナリリレバンス（BR）を上回り、勝利-敗北数が7-3となった。これは、ラベル相関をモデル化する上で一貫した優位性があることを示している。
• iPhoneの鳴き声データセットでは、ECC-RFがハミング損失0.1168、セット0/1損失0.8121を達成し、高ノイズにもかかわらず強い性能を示した。
• HJA Birdsongデータセットでは、ECC-RFがハミング損失0.0485、カバレッジ1.6555を達成し、BRを上回り、MIML手法と同等の結果を示した。
• HJAデータセット全体で最も優れたパフォーマンスを示したのはMIML- $k$ NNで、ハミング損失0.039であったが、これは事後的パrameterチューニングに起因し、不公平な優位性を有していた。
• MIMLRBFおよびMIML- $k$ NNはHJAデータセットでECC-RFを上回った（勝利-敗北数は1-4および0-5）。これは、一部の状況ではラベル相関のモデル化よりもマルチインスタンス構造のモデル化がより重要である可能性を示唆している。