[論文レビュー] Employing Subsequence Matching in Audio Data Processing

Petr Volný, David Novák+1 more|arXiv (Cornell University)|Apr 11, 2012

Music and Audio Processing参考文献 38被引用数 3

ひとこと要約

本論文では、音声データ処理における類似検索を高速化するため、MESSIFに基づく部分列照合フレームワーク（SMF）を提案する。特に、教師なし spoken term detection において、DTW の計算コストの高さという課題を克服する。ERD や ERP などの編集距離に基づく関数を用いたメトリックインデックス（例：M-index）を活用することで、DTW の計算的制限を克服し、再コンパイルを伴わずに柔軟なアルゴリズムプロトタイピングを可能にする。これにより、クエリ例による音声検索が高速かつスケーラブルに実現される。

ABSTRACT

We overview current problems of audio retrieval and time-series subsequence matching. We discuss the usage of subsequence matching approaches in audio data processing, especially in automatic speech recognition (ASR) area and we aim at improving performance of the retrieval process. To overcome the problems known from the time-series area like the occurrence of implementation bias and data bias we present a Subsequence Matching Framework as a tool for fast prototyping, building, and testing similarity search subsequence matching applications. The framework is build on top of MESSIF (Metric Similarity Search Implementation Framework) and thus the subsequence matching algorithms can exploit advanced similarity indexes in order to significantly increase their query processing performance. To prove our concept we provide a design of query-by-example spoken term detection type of application with the usage of phonetic posteriograms and subsequence matching approach.

研究の動機と目的

• 時系列および音声類似検索におけるパフォーマンスボトルネック、特に教師なし音声解析における DTW の高い計算コストを解消すること。
• 大規模なトランスクリプションデータに依存するのを減らし、リソースが限られた言語や未知語彙の音声状況においても、効率的でプロトタイプフレンドリーな部分列照合を可能にすること。
• 異なる部分列照合アルゴリズムや距離関数の迅速な実験を可能にする、モジュラーかつ拡張可能なフレームワークの開発。
• M-index などの高度なメトリックインデックスと部分列照合を統合することで、音声データにおける効率的な類似検索を実現すること。
• クエリ例による発話語句検出の実世界応用において、本フレームワークの実現可能性とパフォーマンス向上を示すこと。

提案手法

• 部分列照合フレームワーク（SMF）は、既存のメトリック類似検索フレームワーク MESSIF の上に構築されており、M-index などの既存メトリックインデックスとの統合を可能にしている。
• モジュラー設計を採用しており、再コンパイルを伴わずに、距離関数、特徴抽出モジュール、インデキシング戦略などのコンponentを実行時設定可能である。
• 部分列照合の入力特徴として、発音の後ろ向き確率の時系列表現である発音ポスタリオグラムを採用している。
• 従来の DTW の代わりに、メトリック空間インデキシングと互換性がある編集距離ベースの距離関数（例：ERD, ERP）を採用することで、クエリパフォーマンスを向上させている。
• MESSIF の組み込みクエリインターフェースを介して範囲照合および KNN 照合を実現しており、大規模音声データ向けに分散処理やマルチレイヤーインデキシングをサポートしている。
• Java で実装されており、リフレクションと RMI を使用。M-UI を介した Web ベースの UI 統合をサポートしており、デモや評価用途に適している。

実験結果

リサーチクエスチョン

• RQ1 メトリックに適合する距離関数を用いた部分列照合は、DTW に基づく手法と比較して、発話語句検出のパフォーマンスを向上させることができるか？
• RQ2 モジュラーかつ拡張可能なフレームワークは、音声検索における部分列照合アルゴリズムのプロトタイピングとテストをどの程度迅速化できるか？
• RQ3 M-index などのメトリックインデックスは、非-DTW 距離関数を用いる場合に、音声データにおける類似検索をどの程度高速化できるか？
• RQ4 大規模なトランスクリプションデータを必要とせずに、効率的なクエリ例による発話語句検出をフレームワークが実現できるか？
• RQ5 部分列照合における DTW の代わりに編集距離ベースの距離関数（例：ERD, ERP）を用いる場合、パフォーマンスと精度のトレードオフはどのようなものか？

主な発見

• 部分列照合フレームワークは、ERD や ERP などのメトリックに適合する距離関数に置き換えることで、音声データにおける高速かつスケーラブルな類似検索を実現した。
• 再コンパイルを伴わないモジュラーかつ設定駆動の設計により、さまざまなアルゴリズムの組み合わせの迅速なプロトタイピングとテストが可能になった。
• MESSIF の M-index を活用することで、メトリック空間にネイティブにインデックス化できない DTW に基づくアプローチと比較して、顕著なパフォーマンス向上が達成された。
• 発音ポスタリオグラムを特徴表現として採用することで、リソースが限られた言語状況でも効果的な部分列照合が可能となり、発話語句検出に適している。
• TIMIT および NIST STD データセットを用いた予備評価では、DTW に基づく手法と同等の検出品質を達成しながら、インデキシングによりクエリ処理を高速化していることが確認された。
• 本フレームワークは、発話語句検出における近似検索の実現可能性を示しており、大規模音声検索におけるさらなる最適化の道を開いている。