[論文レビュー] Scalable Preprocessing of High Volume Bird Acoustic Data

Alexander Brown, Saurabh Garg+1 more|arXiv (Cornell University)|Feb 2, 2018

Animal Vocal Communication and Behavior参考文献 18被引用数 3

ひとこと要約

本論文は、ノイズ低減、ダウンサンプリング、音声チャンク化を最適化された順序で統合した、大容量の鳥の音声データ向けにスケーラブルで分散処理可能な前処理パイプラインを提案する。32コアにわたるデータ並列処理を実装したマスタースレーブアーキテクチャを活用することで、シリアライズ処理に比べ21.76倍の高速化を達成し、大規模なバイオアコースティクス分析における効率性を顕著に向上させつつ、ノイズ低減および信号強調の高精度を維持した。

ABSTRACT

In this work, we examine the problem of efficiently preprocessing high volume bird acoustic data. We combine several existing preprocessing steps including noise reduction approaches into a single efficient pipeline by examining each process individually. We then utilise a distributed computing architecture to improve execution time. Using a master-slave model with data parallelisation, we developed a near-linear automated scalable system, capable of preprocessing bird acoustic recordings 21.76 times faster with 32 cores over 8 virtual machines, compared to a serial process. This work contributes to the research area of bioacoustic analysis, which is currently very active because of its potential to monitor animals quickly at low cost. Overcoming noise interference is a significant challenge in many bioacoustic studies, and the volume of data in these studies is increasing. Our work makes large scale bird acoustic analyses more feasible by parallelising important bird acoustic processing tasks to significantly reduce execution times.

研究の動機と目的

• 大規模なバイオアコースティクス研究における、大容量の鳥の音声データを効率的に処理するという増大する課題に対処すること。
• スケーラビリティを妨げる、シリアライズ処理、手動または準自動の前処理パイプラインの非効率性を克服すること。
• ノイズ低減、ダウンサンプリング、フィルタリングなどの複数ステップを統合した、一元化され最適化された前処理パイプラインを構築すること。
• マスタースレーブモデルとデータ並列処理を用いて、複数のマシンにパイプラインを分散させることで、ニアーライニアな拡張性を実現すること。
• 実行時間とリソース利用効率を向上させつつ、雨、コオロギ、背景ノイズなどのノイズ源の検出と除去の正確性を維持すること。

提案手法

• 音声の分割、22.05 kHzへのダウンサンプリング、モノラル変換、1 kHzでのハイパスフィルタリング、MMSE STSAノイズ低減、256サンプルのハミング窓と50％オーバーラップを用いたFFTベースのスペクトル解析を含む、複数段階の前処理パイプラインを設計する。
• 8台の仮想マシンと32コアを用いたマスタースレーブ分散アーキテクチャを実装し、音声チャンクにわたる並列処理を実現する。
• 各ステップの時間的節約と正確性への影響を分析することで、パイプラインの順序を最適化し、MMSE STSAフィルタリングのような計算コストの高いプロセスを遅延させ、再処理を回避する。
• スペクトルパワーと信号対雑音比を用いた、音響インデックスを用いたルールベース分類（C4.5）により、重い雨やコオロギの合唱を検出し、削除する。
• 非信号セグメントを除去するためのサイレント除去を適用し、検出の正確性を損なわず処理効率を向上させる。
• よりパワフルなノードに多くのファイルを動的に割り当てることで、マシン間の負荷をバランスさせ、CPU利用率を約90％に一定に保つ。

実験結果

リサーチクエスチョン

• RQ1 大容量の鳥の音声データを処理する際、冗長な計算を最小限に抑えることができる統合的で効率的な前処理パイプラインをどのように設計できるか？
• RQ2 ノイズ低減および信号強調の正確性を維持しつつ、スループットを最大化するための前処理ステップの最適な順序は何か？
• RQ3 データ並列処理を伴うマスタースレーブアーキテクチャは、複雑なバイオアコースティクス前処理パイプラインの実行をどの程度スケーリングできるか？
• RQ4 Hadoop や Spark などの既存の分散フレームワークと比較して、本システムの性能（スループットとリソース利用効率）はどの程度か？
• RQ5 大幅なアーキテクチャ再設計を伴わずに、追加のノイズタイプの対応やより洗練されたセグメンテーション手法の統合は可能か？

主な発見

• 8台の仮想マシンと32コアを用いて処理した結果、本パイプラインは実行時間で21.76倍の高速化を達成し、ニアーライニアな拡張性を示した。
• MMSE STSAフィルタが最も計算コストが高く、すでに処理済みのデータを再処理するのを避けるためにパイプラインの後段に配置することが正当化された。
• ハイパスフィルタリングとコオロギノイズの除去は、多数の短いファイルではなく、少数の長時間のファイルに対して適用したほうが効率的であることが判明し、最適なチャンク戦略に影響を与えた。
• すべてのマシンで一貫した約90％のCPU利用率が達成され、効果的な負荷分散と最小限の空き時間処理を示した。
• RAM利用率は50％未満に保たれ、メモリは主なボトルネックではなく、システムは計算処理で制限されていることが示された。
• パイプラインはモジュラで拡張可能であり、最小限のアーキテクチャ変更で追加のノイズ低減技術や高度なセグメンテーション手法の統合が可能である。