[論文レビュー] DCASE 2017 Task 1: Acoustic Scene Classification Using Shift-Invariant Kernels and Random Features

Abelino Jiménez, Benjamin Elizalde+1 more|arXiv (Cornell University)|Jan 8, 2018

Music and Audio Processing参考文献 2被引用数 8

ひとこと要約

本稿では、音声シーン分類のためのシフト不変カーネル（ガウス、ラプラス、コーシー）を近似するためにランダム特徴量を用いる手法を提案し、高次元入力特徴量における高速な線形SVM学習を可能にした。この手法はDCASE 2017ベースラインを4%上回る精度を達成し、性能損失を最小限に抑えつつ特徴量次元を最大6倍まで低減した。大規模な音声分類に適した、低記憶領域を要するカーネル計算手法の有効性が示された。

ABSTRACT

Acoustic scene recordings are represented by different types of handcrafted or Neural Network-derived features. These features, typically of thousands of dimensions, are classified in state of the art approaches using kernel machines, such as the Support Vector Machines (SVM). However, the complexity of training these methods increases with the dimensionality of these input features and the size of the dataset. A solution is to map the input features to a randomized lower-dimensional feature space. The resulting random features can approximate non-linear kernels with faster linear kernel computation. In this work, we computed a set of 6,553 input features and used them to compute random features to approximate three types of kernels, Gaussian, Laplacian and Cauchy. We compared their performance using an SVM in the context of the DCASE Task 1 - Acoustic Scene Classification. Experiments show that both, input and random features outperformed the DCASE baseline by an absolute 4%. Moreover, the random features reduced the dimensionality of the input by more than three times with minimal loss of performance and by more than six times and still outperformed the baseline. Hence, random features could be employed by state of the art approaches to compute low-storage features and perform faster kernel computations.

研究の動機と目的

• 音声シーン分類において、高次元音声特徴量に非線形SVMを学習させる際の高い計算コストと記憶領域コストを低減すること。
• 入力特徴量の次元を削減（6,553次元）しながら、分類性能を維持するためのランダム特徴量近似を実現すること。
• DCASE 2017タスク1データセットを用い、ガウス、ラプラス、コーシーの3つのシフト不変カーネルから得られるランダム特徴量の有効性を評価すること。
• 元の入力特徴量を用いた非線形SVMの性能に匹敵または上回る性能を達成できる、ランダム特徴量を用いた線形SVMの有効性を示すこと。
• クラウドベースの分類の前に、プライベートなランダムパラメータを用いて特徴量変換を可能にすることで、プライバシー保護型音声処理を実現すること。

提案手法

• 標準的なハンドクラフト手法を用いて音声記録から6,553次元の入力特徴量を計算する。
• ボッヘンの定理を用いてランダム特徴量マッピングを実行し、シフト不変カーネルを近似する：$\Phi(\mathbf{x}) = \sqrt{\frac{2}{M}} \cos(\mathbf{W}\mathbf{x} + \mathbf{b})$、ここで$\mathbf{W}$と$\mathbf{b}$はランダムに生成される。
• $\mathbf{W}$はカーネル関数$g(\delta) = K(\delta, \mathbf{0})$のフーリエ変換から得られ、$\mathbf{b}$は$[0, 2\pi]$上の一様分布から生成される。
• 得られた低次元ランダム特徴量上で線形SVMを学習させ、元の特徴量を用いた非線形SVMの性能を近似する。
• $M$（ランダム特徴量次元）の異なる値を用いて、次元削減と精度のトレードオフを調査する。
• ガウス、ラプラス、コーシーの3つのカーネルを比較し、ランダム特徴量近似下でのカーネル固有の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 シフト不変カーネルから得られるランダム特徴量は、音声シーン分類における非線形SVMの性能を効果的に近似できるか？
• RQ2 ランダム特徴量を用いることで、DCASE 2017ベースラインと比較して分類精度を維持または向上させつつ、どの程度次元を削減できるか？
• RQ3 元の高次元特徴量を用いた非線形SVMと比較して、ランダム特徴量を用いた線形SVMの性能はいかがなっているか？
• RQ4 ガウス、ラプラス、コーシーの3つのシフト不変カーネルのうち、どれがランダム特徴量近似下で最も頑健な性能を示すか？
• RQ5 ランダム特徴量を用いることで、クラウドベースの分類の前にプライベートパラメータを用いて特徴量変換を可能にし、プライバシー保護型音声処理を実現できるか？

主な発見

• 提案手法は、非線形SVMを用いた入力特徴量を用いた場合、DCASE 2017ベースラインを絶対的に4%上回る全体精度を達成した。
• $M = 2^{10} = 1024$のランダム特徴量を用いた場合、ガウスカーネルとコーシーカーネルはそれぞれ75.3%および75.1%の精度を達成し、ベースラインの74.8%と同等の性能を示した。
• $M = 2^{12} = 4096$のとき、ガウスカーネルとコーシーカーネルはそれぞれ77.2%および76.9%の精度を達成し、元の入力特徴量ベースラインと比較して最小限1%の性能低下にとどまった。
• ラプラシアンカーネルを用いた入力特徴量では、非線形SVMで70.3%の精度を達成し、DCASEベースラインの61%を上回った。
• ランダム特徴量を用いることで、入力次元を6,553から$M = 4096$（6倍以上）まで削減したが、性能低下はわずか1%にとどまり、高い効率性が示された。
• ランダム特徴量の使用により、カーネル計算が高速化され、記憶領域の要件も低減したため、大規模かつプライバシーに配慮した音声処理アプリケーションに適していることが示された。