[논문 리뷰] DCASE 2017 Task 1: Acoustic Scene Classification Using Shift-Invariant Kernels and Random Features

Abelino Jiménez, Benjamin Elizalde외 1명|arXiv (Cornell University)|2018. 01. 08.

Music and Audio Processing참고 문헌 2인용 수 8

한 줄 요약

이 논문은 청각 환경 분류에서 이동 불변 커널(Gaussian, Laplacian, Cauchy)을 근사하기 위해 무작위 특징을 사용함으로써 고차원 입력 특징에서 선형 SVM 학습을 더 빠르게 수행하는 방법을 제안한다. 이는 DCASE 2017 베이스라인 대비 4%의 정확도 향상을 달성하고, 성능 손실을 최소화하면서도 특징 차원을 최대 6배까지 감소시킨다. 이는 대규모 음성 분류에 적합한 효율적이고 저비용 저장의 커널 계산 방법을 보여준다.

ABSTRACT

Acoustic scene recordings are represented by different types of handcrafted or Neural Network-derived features. These features, typically of thousands of dimensions, are classified in state of the art approaches using kernel machines, such as the Support Vector Machines (SVM). However, the complexity of training these methods increases with the dimensionality of these input features and the size of the dataset. A solution is to map the input features to a randomized lower-dimensional feature space. The resulting random features can approximate non-linear kernels with faster linear kernel computation. In this work, we computed a set of 6,553 input features and used them to compute random features to approximate three types of kernels, Gaussian, Laplacian and Cauchy. We compared their performance using an SVM in the context of the DCASE Task 1 - Acoustic Scene Classification. Experiments show that both, input and random features outperformed the DCASE baseline by an absolute 4%. Moreover, the random features reduced the dimensionality of the input by more than three times with minimal loss of performance and by more than six times and still outperformed the baseline. Hence, random features could be employed by state of the art approaches to compute low-storage features and perform faster kernel computations.

연구 동기 및 목표

• 청각 환경 분류에서 고차원 음성 특징에 비선형 SVM를 학습할 때 발생하는 높은 계산 비용과 저장 비용을 해결한다.
• 입력 특징의 차원을 감소시키면서도 분류 성능을 유지하기 위해 무작위 특징 근사를 사용한다 (6,553 차원).
• DCASE 2017 Task 1 데이터셋에서 세 가지 이동 불변 커널(Gaussian, Laplacian, Cauchy)에서 유도된 무작위 특징의 효과를 평가한다.
• 원래 입력 특징을 사용한 비선형 SVM와 비교했을 때, 무작위 특징을 적용한 선형 SVM가 동일하거나 뛰어난 성능을 낼 수 있음을 입증한다.
• 개인 정보 보호를 위한 음성 처리를 가능하게 하기 위해, 클라우드 기반 분류 이전에 비밀 무작위 매개변수를 사용해 특징을 변환할 수 있도록 한다.

제안 방법

• 표준 수작업 기반 방법을 사용해 음성 기록물에서 6,553차원 입력 특징을 계산한다.
• Bochner 정리에 따라 무작위 특징 매핑을 적용하여 이동 불변 커널을 근사한다: $\Phi(\mathbf{x}) = \sqrt{\frac{2}{M}} \cos(\mathbf{W}\mathbf{x} + \mathbf{b})$, 여기서 $\mathbf{W}$와 $\mathbf{b}$는 무작위로 생성된다.
• $\mathbf{W}$는 커널 함수 $g(\delta) = K(\delta, \mathbf{0})$의 푸리에 변환으로부터 생성하고, $\mathbf{b}$는 $[0, 2\pi]$ 구간의 균일 분포에서 생성한다.
• 기존 특징에 비해 낮은 차원의 무작위 특징을 사용해 선형 SVM를 학습함으로써 비선형 SVM의 성능을 근사한다.
• $M$ (무작위 특징 차원 수)의 다양한 값을 사용하여 차원 감소와 정확도 간의 상호 관계를 연구한다.
• Gaussian, Laplacian, Cauchy 커널 간의 성능을 비교하여 무작위 특징 근사 하에서의 커널 특성별 성능을 평가한다.

실험 결과

연구 질문

• RQ1 이동 불변 커널에서 유도된 무작위 특징가 청각 환경 분류에서 비선형 SVM 성능을 효과적으로 근사할 수 있는가?
• RQ2 무작위 특징을 사용할 경우, DCASE 2017 베이스라인 대비 정확도를 유지하거나 향상시키면서 얼마나 많은 차원 감소를 달성할 수 있는가?
• RQ3 원래 고차원 특징을 사용한 비선형 SVM와 비교했을 때, 무작위 특징을 적용한 선형 SVM의 성능는 어떠한가?
• RQ4 세 가지 이동 불변 커널 중에서 Gaussian, Laplacian, Cauchy 중 어떤 커널이 무작위 특징 근사 하에서 가장 우수한 성능을 보이는가?
• RQ5 무작위 특징을 사용하면, 클라우드 기반 분류 이전에 비밀 무작위 매개변수로 특징을 변환함으로써 개인정보 보호가 가능한 음성 처리를 가능하게 하는가?

주요 결과

• 비선형 SVM를 사용한 입력 특징에서 제안된 방법은 DCASE 2017 베이스라인 대비 총 정확도에서 절대 4% 향상된 성능을 보였다.
• $M = 2^{10} = 1024$ 무작위 특징을 사용할 경우, Gaussian 커널과 Cauchy 커널은 각각 75.3%와 75.1%의 정확도를 달성하여 베이스라인 성능인 74.8%와 동일한 성능을 보였다.
• $M = 2^{12} = 4096$일 경우, Gaussian 커널과 Cauchy 커널은 각각 77.2%와 76.9%의 정확도를 기록하여 전체 입력 특징 기반 베이스라인 대비 최소 1% 이하의 성능 저하를 보였다.
• 입력 특징을 사용한 Laplacian 커널은 비선형 SVM에서 70.3%의 정확도를 기록했으며, DCASE 기준 61%보다 높은 성능을 보였다.
• 무작위 특징을 사용함으로써 입력 차원을 6,553에서 $M = 4096$로 감소시켰고, 이는 6배 이상의 감소를 의미하며, 성능 저하가 약 1%에 불과하여 높은 효율성을 입증했다.
• 무작위 특징의 사용은 더 빠른 커널 계산과 저장 요구량 감소를 가능하게 하여, 대규모 및 개인정보 민감도가 높은 음성 처리 응용 분야에 적합함을 보였다.