[論文レビュー] Acoustic event detection for multiple overlapping similar sources

Dan Stowell, David F. Clayton|arXiv (Cornell University)|Mar 24, 2015

Music and Audio Processing参考文献 8被引用数 4

ひとこと要約

本稿では、複数の同一ソースが同時に発声する可能性がある、楽曲的で重複する自然音（特にキジバトの鳴き声）における音響イベント検出のためのオンセット・持続時間・オフセット（ODO）モデルを提案する。固定された多音性や厳密な時間的パターンを仮定しない確率的モデルとして、オンセット、持続時間、オフセットを扱うことで、特に重複度の高い状況下でのイベントカウントとトランスクリプションにおいて、HMMベースの手法よりも高い精度と頑健性を達成した。

ABSTRACT

Many current paradigms for acoustic event detection (AED) are not adapted to the organic variability of natural sounds, and/or they assume a limit on the number of simultaneous sources: often only one source, or one source of each type, may be active. These aspects are highly undesirable for applications such as bird population monitoring. We introduce a simple method modelling the onsets, durations and offsets of acoustic events to avoid intrinsic limits on polyphony or on inter-event temporal patterns. We evaluate the method in a case study with over 3000 zebra finch calls. In comparison against a HMM-based method we find it more accurate at recovering acoustic events, and more robust for estimating calling rates.

研究の動機と目的

• 単音性のシーンや同時に発生する音源数が固定されていると仮定する従来の音響イベント検出（AED）手法の制限を解消すること。
• 自然音（例：重複する鳥の鳴き声など）における有機的な変動や高多音性に耐性のある手法の開発。
• 同種の音源が未知の数で存在する録音データにおいて、正確なイベントカウントとトランスクリプションを可能にすること。これは生態モニタリングに重要である。
• 大規模なキジバトの鳴き声データセットを用いて、現実的で複雑な音響条件下での性能を評価する。

提案手法

• オンセット時刻 $ t $ と持続時間 $ \tau $ で定義される二次元空間を用いて音響イベントをモデル化し、後方確率 $ p_{\text{evt}}(t,\tau|\mathbf{y}) \propto p_{\text{on}}(t|\mathbf{y}) \, p_{\text{off}}(t+\tau|\mathbf{y}) \, p_{\text{dur}}(\tau) $ を定式化する。
• 時間差スペクトログラムからランダムフォレスト回帰を用いて、オンセットおよびオフセット検出確率を推定する。
• 持続時間の事前分布としてガウス・ミックスチャネル・モデル（GMM）を学習し、頑健性と精度を向上させる。
• オンセット、オフセット、持続時間の確率を確率的フレームワークで統合し、無限の多音性を許容する。
• キジバトの鳴き声データセットを用いて、交差検証を実施し、ODOモデルと因子的HMMベースのシステム、ODO+HMM統合システムを比較する。
• ノイズ低減のためスペクトル中央値除算を適用し、2048点フレームの50%重複Hann窓スペクトログラムを用いる。

Figure 1: Schematic diagram of onset-duration-offset event detection model.

実験結果

リサーチクエスチョン

• RQ1 確率的オンセット・持続時間・オフセットモデルは、多音的で自然な音響シーンにおいて、HMMベースの手法よりも重複音響イベントをより正確に検出できるか？
• RQ2 学習された持続時間事前分布を組み込むことで、変動性と多音性の高い状況下での検出性能はどのように向上するか？
• RQ3 トレーニングとテストデータの間でイベント密度に差がある場合、ODOモデルの頑健性はどの程度保たれるか？
• RQ4 ODOモデルは、イベントトランスクリプションとイベントカウントの両タスクにおいて、HMMベースのシステムを上回る性能を示すか？
• RQ5 固定された同時発声数を仮定せずに、ODOモデルは無限の多音性を効果的に処理できるか？

主な発見

• ODOモデルは、イベントトランスクリプションにおいて約37%のF-measureを達成し、類似タスクにおける最先端手法と同等の性能を示した。
• 学習されたGMM持続時間事前分布を有するODOモデルは、均一な持続時間事前分布を用いたバージョンを著しく上回り、持続時間の変動をモデル化することの価値を示した。
• HMMベースのシステムは、トランスクリプションおよびカウントタスクの両方で、ODOモデルに比べて著しく劣り、特にトレーニングとテストの条件が不一致の状況下で顕著であった。
• ODO+HMM統合システムは、単体のHMMを上回ったが、単体のODOモデルの性能には及ばなかった。
• すべてのシステムが、イベント密度の不一致条件下で性能低下を示し、広範なイベント密度の変動に耐性を持つ必要があることが示された。
• 原始的なオンセット検出器の出力は、統合システムに比べて顕著に劣っており、ODOフレームワークがベース検出器の性能を著しく向上させることを確認した。

Figure 2: Schematic diagram of how probabilities are combined in the onset-duration-offset event detection model. Each source of probabilistic information is a marginal with respect to a different direction in the [onset $\times$ duration] space.