[论文解读] DCASE 2017 Task 1: Acoustic Scene Classification Using Shift-Invariant Kernels and Random Features

Abelino Jiménez, Benjamin Elizalde+1 more|arXiv (Cornell University)|Jan 8, 2018

Music and Audio Processing参考文献 2被引用 8

一句话总结

本论文提出使用随机特征近似平移不变核函数（高斯、拉普拉斯、柯西）以实现对高维输入特征的快速线性SVM训练，从而提升声学场景分类的效率。该方法在DCASE 2017基线基础上实现了4%的准确率提升，同时将特征维度降低六倍，性能损失极小，证明了其在大规模音频分类任务中高效且低存储需求的核函数计算能力。

ABSTRACT

Acoustic scene recordings are represented by different types of handcrafted or Neural Network-derived features. These features, typically of thousands of dimensions, are classified in state of the art approaches using kernel machines, such as the Support Vector Machines (SVM). However, the complexity of training these methods increases with the dimensionality of these input features and the size of the dataset. A solution is to map the input features to a randomized lower-dimensional feature space. The resulting random features can approximate non-linear kernels with faster linear kernel computation. In this work, we computed a set of 6,553 input features and used them to compute random features to approximate three types of kernels, Gaussian, Laplacian and Cauchy. We compared their performance using an SVM in the context of the DCASE Task 1 - Acoustic Scene Classification. Experiments show that both, input and random features outperformed the DCASE baseline by an absolute 4%. Moreover, the random features reduced the dimensionality of the input by more than three times with minimal loss of performance and by more than six times and still outperformed the baseline. Hence, random features could be employed by state of the art approaches to compute low-storage features and perform faster kernel computations.

研究动机与目标

• 解决在声学场景分类中，对高维声学特征训练非线性SVM所导致的高计算与存储成本问题。
• 在保留分类性能的前提下，降低输入特征的维度（6,553维）。
• 在DCASE 2017任务1数据集上，评估三种平移不变核函数——高斯、拉普拉斯和柯西——所生成的随机特征的有效性。
• 证明使用随机特征的线性SVM能够匹配或超越使用完整原始特征的非线性SVM的性能。
• 通过使用私有随机参数对特征进行变换，实现隐私保护的音频处理，使云环境下的分类处理更加安全。

提出的方法

• 使用标准手工特征提取方法，从音频记录中计算6,553维的输入特征。
• 通过博赫纳定理应用随机特征映射，以近似平移不变核函数：$\Phi(\mathbf{x}) = \sqrt{\frac{2}{M}} \cos(\mathbf{W}\mathbf{x} + \mathbf{b})$，其中$\mathbf{W}$和$\mathbf{b}$为随机生成。
• 从核函数$g(\delta) = K(\delta, \mathbf{0})$的傅里叶变换中生成$\mathbf{W}$，并从$[0, 2\pi]$上的均匀分布中生成$\mathbf{b}$。
• 在所得低维随机特征上训练线性SVM，以近似原始特征上非线性SVM的性能。
• 使用不同的$M$值（随机特征维度）研究维度压缩与准确率之间的权衡。
• 比较高斯、拉普拉斯和柯西核函数在随机特征近似下的性能表现。

实验结果

研究问题

• RQ1 能否通过平移不变核函数生成的随机特征，有效近似非线性SVM在声学场景分类中的性能？
• RQ2 在与DCASE 2017基线相比时，使用随机特征可将维度降低到何种程度，同时保持或提升分类准确率？
• RQ3 使用随机特征的线性SVM性能与使用原始高维特征的非线性SVM相比如何？
• RQ4 在随机特征近似下，三种平移不变核函数——高斯、拉普拉斯或柯西——中哪一种表现最稳健？
• RQ5 随机特征是否可通过使用私有参数对特征进行变换，实现隐私保护的音频处理，从而支持云环境下的分类处理？

主要发现

• 当使用非线性SVM处理输入特征时，所提方法在整体准确率上比DCASE 2017基线高出绝对4个百分点。
• 当$M = 2^{10} = 1024$时，高斯核和柯西核分别达到75.3%和75.1%的准确率，与基线的74.8%性能相当。
• 当$M = 2^{12} = 4096$时，高斯核和柯西核分别达到77.2%和76.9%的准确率，与完整输入特征基线相比仅出现约1%的性能下降。
• 拉普拉斯核在输入特征上使用非线性SVM时达到70.3%的准确率，优于DCASE基线的61%。
• 随机特征将输入维度从6,553维降低至$M = 4096$（降低六倍以上），性能仅下降1%，展现出显著的效率优势。
• 使用随机特征可实现更快的核函数计算和更低的存储需求，使其适用于大规模及隐私敏感的音频处理应用。