[논문 리뷰] Practical Selection of SVM Supervised Parameters with Different Feature Representations for Vowel Recognition

Rimah Amami, Dorra Ben Ayed외 1명|arXiv (Cornell University)|2015. 07. 22.

Speech Recognition and Synthesis참고 문헌 10인용 수 38

한 줄 요약

이 논문은 TIMIT 코퍼스를 사용한 모음 인식에서 SVM 초매개변수와 커널 유형의 실용적 선택을 조사하며, MFCC 및 PLP 특징 표현 방식을 비교한다. RBF 커널에 최적화된 C 및 감마 값 조합이 가장 높은 분류 정확도를 보이며, 특징 표현 방식이 성능에 상당한 영향을 미친다. 최적의 파rameter 설정 하에서 PLP가 MFCC를 略적으로 뛰어넘는다.

ABSTRACT

It is known that the classification performance of Support Vector Machine (SVM) can be conveniently affected by the different parameters of the kernel tricks and the regularization parameter, C. Thus, in this article, we propose a study in order to find the suitable kernel with which SVM may achieve good generalization performance as well as the parameters to use. We need to analyze the behavior of the SVM classifier when these parameters take very small or very large values. The study is conducted for a multi-class vowel recognition using the TIMIT corpus. Furthermore, for the experiments, we used different feature representations such as MFCC and PLP. Finally, a comparative study was done to point out the impact of the choice of the parameters, kernel trick and feature representations on the performance of the SVM classifier

연구 동기 및 목표

• 모음 인식에 최적의 SVM 초매개변수(C, 감마)와 커널 유형을 규명하기 위해.
• 다양한 특징 표현 방식(MFCC 및 PLP)이 SVM 분류 성능에 미치는 영향을 평가하기 위해.
• 다중 클래스 모음 인식 작업에서 SVM 초매개변수를 선택하는 데 실용적인 지침을 제공하기 위해.
• 매개변수 값이 극단적(매우 작거나 매우 큼)일 경우 SVM의 행동을 분석하기 위해.
• 다양한 커널 트릭 및 특징 표현 조합 간의 일반화 성능을 비교하기 위해.

제안 방법

• 연구는 TIMIT 음성 코퍼스를 기반으로 한 다중 클래스 SVM 분류기로 모음 인식을 위해 훈련한다.
• 음성 신호를 표현하기 위해 멜 주파수 페스터컬 계수(MFCC)와 청각선형예측(PLP)이라는 두 가지 특징 추출 방법을 사용한다.
• 최적의 초매개변수를 도출하기 위해 C(정규화) 및 감마(RBF 커널 폭) 값의 범위에서 격자 탐색을 수행한다.
• 일반화 성능을 평가하기 위해 RBF, 다항식, 선형 커널을 평가한다.
• 분류 정확도를 측정하고, 정확도를 높이기 위해 교차 검증을 실시한다.
• 커널 유형, 초매개변수 설정, 특징 표현이 인식 정확도에 미치는 영향을 평가하기 위해 비교 분석을 수행한다.

실험 결과

연구 질문

• RQ1 모음 인식에서 RBF, 다항식, 선형 커널 중 어느 커널이 가장 높은 분류 정확도를 제공하는가?
• RQ2 정규화 매개변수 C 및 커널 매개변수 감마의 극단적 값이 SVM 성능에 어떻게 영향을 미치는가?
• RQ3 MFCC와 PLP 특징 표현 방식 중 어느 것이 SVM 기반 모음 인식 정확도에 더 큰 영향을 미치는가?
• RQ4 다양한 특징 세트에서 일반화 성능을 최대화하는 데 최적의 C 및 감마 값 조합은 무엇인가?
• RQ5 커널 유형과 특징 표현이 상호작용하여 분류 결과에 어떻게 영향을 미치는가?

주요 결과

• RBF 커널은 모든 테스트된 초매개변수 설정에서 선형 및 다항식 커널보다 일관되게 높은 분류 정확도를 보였다.
• 최적의 성능는 중간 정도의 C 값(약 10)과 작은 감마 값(약 0.01)을 통해 달성되었으며, 이는 과소적합 및 과적합을 피하는 데 기여했다.
• 최적의 초매개변수 튜닝 하에서 PLP 특징은 약 92.5%의 높은 인식 정확도를 기록했고, MFCC는 약 91.2%를 기록하여 약간 더 높은 성능를 보였다.
• 매우 큰 또는 매우 작은 C 및 감마 값은 일반화 성능을 떨어뜨렸으며, 각각 높은 분산 또는 높은 편향을 초래했다.
• 커널 유형과 특징 표현 간의 상호작용은 성능에 상당한 영향을 미쳤으며, RBF + PLP 조합이 가장 우수한 전체 성능를 보였다.
• C 및 감마 값에 대한 체계적인 격자 탐색은 고성능 설정을 효과적으로 도출했으며, 초매개변수 튜닝의 실용성을 입증했다.