[論文レビュー] Histogram of gradients of Time-Frequency Representations for Audio scene detection

Alain Rakotomamonjy, Gilles Gasso|arXiv (Cornell University)|Aug 20, 2015

Music and Audio Processing参考文献 1被引用数 7

ひとこと要約

本論文は、時間周波数表現（TFR）に適用された勾配のヒストグラム（HOG）に基づく、音声シーン分類のための新規特徴量を提案する。特に、定数Q変換（CQT）を用いる。局所的なスペクトルパワーの変化の方向（例えば、輸送シーンにおけるチューブ音に似たモodulations）を捉えることで、MFCC や他の最先端特徴量を上回り、新規に導入された19クラスのデータセット（約1500分の音声）で平均平均適合率（mAP）が0.917を達成した。

ABSTRACT

This paper addresses the problem of audio scenes classification and contributes to the state of the art by proposing a novel feature. We build this feature by considering histogram of gradients (HOG) of time-frequency representation of an audio scene. Contrarily to classical audio features like MFCC, we make the hypothesis that histogram of gradients are able to encode some relevant informations in a time-frequency {representation:} namely, the local direction of variation (in time and frequency) of the signal spectral power. In addition, in order to gain more invariance and robustness, histogram of gradients are locally pooled. We have evaluated the relevance of {the novel feature} by comparing its performances with state-of-the-art competitors, on several datasets, including a novel one that we provide, as part of our contribution. This dataset, that we make publicly available, involves $19$ classes and contains about $900$ minutes of audio scene recording. We thus believe that it may be the next standard dataset for evaluating audio scene classification algorithms. Our comparison results clearly show that our HOG-based features outperform its competitors

研究の動機と目的

• 時間周波数表現における局所的なスペクトルパワーの変化の方向を捉えることで、音声シーン分類の課題に取り組む新規特徴量の提案。
• スペクトルエンvelopeをエンコードするが、チルプや加速といった動的スペクトル変化を捉えない従来の特徴量（例：MFCC）の限界を克服すること。
• CQT表現から抽出したHOG特徴量の局所的プーリングにより、ロバストで不変な特徴量の開発。
• 今後の研究のベンチマークとして使用可能な、19クラスおよび約1500分の録音を含む、新規で公開可能な音声シーンデータセットの提供。
• 新規データセットを含む複数のデータセットにおいて、HOG-TFR特徴量が既存の特徴量を上回ることを実証し、最先端の性能を検証すること。

提案手法

• 音声信号を時間周波数表現（TFR）に変換するために、対数周波数分解能を保持する定数Q変換（CQT）を適用する。
• CQTのマグニチュードスペクトログラムに勾配のヒストグラム（HOG）を適用し、時間と周波数におけるスペクトルパワーの局所的変化の方向をエンコードする。
• 符号付きおよび符号なしの勾配方向を用い、セルごとに8ビンのヒストグラムを設定し、空間的プーリング（例：2×2セル）を適用することで不変性とロバスト性を向上させる。
• HOGヒストグラムに正規化を適用せず、時間方向に完全にプールすることでグローバル構造を保持し、識別力を向上させる。
• 分類のためのサポートベクターマシン（SVM）を、20回のランダムな訓練/テスト分割を用いてHOG-TFR特徴量で学習する。
• 性能評価と再現可能性を確保するため、19クラスおよび約1500分の音声録音を含む新規で公開されたデータセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 時間周波数表現の勾配のヒストグラム（HOG）は、MFCCがエンコードできない動的スペクトルパターン（例：輸送シーンにおけるチルプ）を捉えることができるか？
• RQ2 提案されたHOG-TFR特徴量は、実世界の音声シーンデータセットにおいて、MFCCや他の最先端特徴量と比較して分類精度に優れているか？
• RQ3 HOG特徴量の局所的空間的プーリングは、音声シーン分類におけるロバスト性と不変性をどの程度向上させるか？
• RQ4 提案されたHOG-TFR特徴量は、歩行者が多い通りや鉄道駅のロビーなど、類似した音響的特徴を示す多様な音声シーンに一般化して適応できるか？
• RQ5 19クラスおよび約1500分の音声を含む新規で公開されたデータセットは、今後の音声シーン分類研究の信頼できるベンチマークとして機能するか？

主な発見

• 提案されたHOG-TFR特徴量は、新規の19クラスデータセットにおいて20回のランダムな訓練/テスト分割の平均で、平均平均適合率（mAP）が0.9170を達成した。
• 正規化された混同行列から、輸送関連クラス（バス、自動車、電車、新幹線、飛行機）は個々の適合率が97%以上で正確に識別されている。
• 話し声や短時間イベントクラス（例：子供のゲームルーム、ビリヤードホール）も、HOGが捉える高周波数のトランジェントに起因して、適合率が96%を超え、良好に分類されている。
• 歩行者が多い歩行者専用通り、鉄道駅のロビー、市場など、歩行者の存在を含むクラスは頻繁に混同されており、群衆の密度や移動パターンの微細な違いを捉える能力に限界があることが示された。
• HOG-TFR特徴量はMFCCや他のベースライン特徴量を上回っており、チルプのような方向的スペクトルダイナミクスをエンコードできる能力があることが実証された。
• 本研究では、HOG-TFRが加速する車両に起因するような局所的スペクトルパワーの変化を特に効果的に捉えることができ、MFCCでは不十分に表現されることが確認された。