[논문 리뷰] Speech Emotion Recognition System by Quaternion Nonlinear Echo State Network

Fatemeh Daneshfar, Seyed Jahanshah Kabudian|arXiv (Cornell University)|2021. 11. 13.

Neural Networks and Reservoir Computing인용 수 5

한 줄 요약

이 논문은 음성 정서 인식을 위한 허수 비선형 에코 스테이트 네트워크(QNESN)를 제안한다. 허수 대수를 활용해 고차원 데이터를 압축하고, 선형 출력 조합기 대신 다차원 이차형 필터를 도입하여 비선형 특징 학습을 향상시킨다. EMODB, SAVEE, IEMOCAP 데이터셋에서 평가한 결과, 표준 ESN 및 최신 음성 정서 인식 시스템보다 뛰어난 성능을 보이며, 유전 알고리즘 최적화된 계수와 가중치 덕분에 정확도는 향상되고 메모리 사용량은 감소한다.

ABSTRACT

The echo state network (ESN) is a powerful and efficient tool for displaying dynamic data. However, many existing ESNs have limitations for properly modeling high-dimensional data. The most important limitation of these networks is the high memory consumption due to their reservoir structure, which has prevented the increase of reservoir units and the maximum use of special capabilities of this type of network. One way to solve this problem is to use quaternion algebra. Because quaternions have four different dimensions, high-dimensional data are easily represented and, using Hamilton multiplication, with fewer parameters than real numbers, make external relations between the multidimensional features easier. In addition to the memory problem in the ESN network, the linear output of the ESN network poses an indescribable limit to its processing capacity, as it cannot effectively utilize higher-order statistics of features provided by the nonlinear dynamics of reservoir neurons. In this research, a new structure based on ESN is presented, in which quaternion algebra is used to compress the network data with the simple split function, and the output linear combiner is replaced by a multidimensional bilinear filter. This filter will be used for nonlinear calculations of the output layer of the ESN. In addition, the two-dimensional principal component analysis technique is used to reduce the number of data transferred to the bilinear filter. In this study, the coefficients and the weights of the quaternion nonlinear ESN (QNESN) are optimized using the genetic algorithm. In order to prove the effectiveness of the proposed model compared to the previous methods, experiments for speech emotion recognition have been performed on EMODB, SAVEE, and IEMOCAP speech emotional datasets. Comparisons show that the proposed QNESN network performs better than the ESN and most currently SER systems.

연구 동기 및 목표

• 고차원 음성 데이터를 처리하는 데 있어 전통적인 에코 스테이트 네트워크(ESN)의 높은 메모리 소비와 제한된 비선형 처리 능력 문제를 해결하기 위해.
• 저항지역 특징의 고차 통계량을 활용하지 못하는 선형 출력 조합기의 한계를 극복하기 위해.
• ESN 아키텍처에 허수 대수를 통합하여 특징 표현과 모델 효율성을 향상시키기 위해.
• 분류 정확도 향상을 위해 유전 알고리즘을 활용해 네트워크 파라미터를 최적화하기 위해.
• 기본 음성 정서 인식 데이터셋에서 제안된 QNESN 모델을 검증하여 기존 ESN 및 SER 방법보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 네 차원 표현을 사용해 고차원 음성 특징을 표현하고 압축하기 위해 허수 대수를 활용하여 파rameter 수를 감소시킨다.
• 표준 선형 출력 조합기를 다차원 이차형 필터로 대체하여 출력층에서 비선형 연산을 가능하게 한다.
• 입력 데이터의 차원을 줄이기 위해 이차원 주성분 분석(2D-PCA)을 적용하여 데이터 전송 및 계산 부담을 최소화한다.
• 실수값 입력 특징을 효율적으로 허수 공간으로 매핑하기 위해 분할 함수를 사용하여 압축된 표현을 구현한다.
• 분류 정확도 향상을 위해 QNESN의 계수와 가중치를 유전 알고리즘으로 최적화한다.
• 에코 스테이트 성질을 유지하면서도 효율적인 허수 기반 동역학과 비선형 변환을 가능하게 하는 저항지역 구조를 설계한다.

실험 결과

연구 질문

• RQ1 허수 대수를 사용해 에코 스테이트 네트워크에서 성능 저하 없이 메모리 소비를 효과적으로 줄일 수 있는가?
• RQ2 선형 출력 조합기를 이차형 필터로 대체함으로써 음성 데이터의 고차 통계적 특징을 더 잘 모델링할 수 있는가?
• RQ3 2D-PCA 전처리가 QNESN 모델의 효율성과 정확도에 어느 정도 기여하는가?
• RQ4 제안된 QNESN 아키텍처가 기준 데이터셋에서 표준 ESN 및 기존 최신 음성 정서 인식 시스템을 초월하는가?
• RQ5 QNESN 파라미터의 유전 알고리즘 최적화가 정서 분류 정확도 향상에 뚜렷한 기여를 할 수 있는가?

주요 결과

• EMODB, SAVEE, IEMOCAP 데이터셋에서 QNESN 모델은 표준 ESN 및 대부분의 최신 음성 정서 인식 시스템보다 높은 분류 정확도를 달성했다.
• 허수 표현을 사용함으로써 필요한 파라미터 수가 감소하여 메모리 소비가 크게 줄었고, 특징 표현은 유지되거나 향상되었다.
• 출력층에 위치한 이차형 필터는 저항지역 활성화의 비선형 관계를 효과적으로 포착하여 감정 상태 간 구분 능력을 향상시켰다.
• 2D-PCA 전처리로 입력 차원이 감소하여 계산 속도가 향상되고 데이터 전송 오버헤드가 감소했지만 성능 저하 없이 유지되었다.
• 유전 알고리즘을 통한 QNESN 가중치 및 계수 최적화가 모든 테스트 데이터셋에서 수렴성 향상과 강건성 향상에 기여했다.
• 다양한 데이터셋에서 일관된 성능 향상이 관찰되어, 음성 정서 인식 작업에 대해 강력한 일반화 능력을 보였다.