[論文レビュー] Speech Emotion Recognition System by Quaternion Nonlinear Echo State Network

Fatemeh Daneshfar, Seyed Jahanshah Kabudian|arXiv (Cornell University)|Nov 13, 2021

Neural Networks and Reservoir Computing被引用数 5

ひとこと要約

本稿では、高次元データの圧縮にクaternion代数を活用し、線形出力結合器の代わりに多次元バイリニアフィルタを導入することで非線形特徴抽出を強化するクォータニオン非線形エコー状態ネットワーク（QNESN）を提案する。EMODB、SAVEE、IEMOCAPデータセット上で評価した結果、標準的なESNおよび最先端のSERシステムと比較して優れた性能を示し、遺伝的アルゴリズムで最適化された係数と重みのおかげで、精度が向上し、メモリ使用量が削減された。

ABSTRACT

The echo state network (ESN) is a powerful and efficient tool for displaying dynamic data. However, many existing ESNs have limitations for properly modeling high-dimensional data. The most important limitation of these networks is the high memory consumption due to their reservoir structure, which has prevented the increase of reservoir units and the maximum use of special capabilities of this type of network. One way to solve this problem is to use quaternion algebra. Because quaternions have four different dimensions, high-dimensional data are easily represented and, using Hamilton multiplication, with fewer parameters than real numbers, make external relations between the multidimensional features easier. In addition to the memory problem in the ESN network, the linear output of the ESN network poses an indescribable limit to its processing capacity, as it cannot effectively utilize higher-order statistics of features provided by the nonlinear dynamics of reservoir neurons. In this research, a new structure based on ESN is presented, in which quaternion algebra is used to compress the network data with the simple split function, and the output linear combiner is replaced by a multidimensional bilinear filter. This filter will be used for nonlinear calculations of the output layer of the ESN. In addition, the two-dimensional principal component analysis technique is used to reduce the number of data transferred to the bilinear filter. In this study, the coefficients and the weights of the quaternion nonlinear ESN (QNESN) are optimized using the genetic algorithm. In order to prove the effectiveness of the proposed model compared to the previous methods, experiments for speech emotion recognition have been performed on EMODB, SAVEE, and IEMOCAP speech emotional datasets. Comparisons show that the proposed QNESN network performs better than the ESN and most currently SER systems.

研究の動機と目的

• 高次元音声データを処理する際の従来のエコー状態ネットワーク（ESN）の高いメモリ消費量と非線形処理能力の制限を解決すること。
• リザボア特徴の高次統計を活用できない線形出力結合器の欠点を克服すること。
• クォータニオン代数をESNアーキテクチャに統合することで、特徴表現とモデル効率を向上させること。
• 分類精度の向上を図るために、遺伝的アルゴリズムを用いてネットワークパラメータを最適化すること。
• 提案されたQNESNモデルをベンチマーク音声感情認識データセットで検証し、既存のESNおよびSER手法を上回ることを示すこと。

提案手法

• 4次元表現を用いて高次元音声特徴を表現・圧縮し、パラメータ数を削減するクォータニオン代数の活用。
• 標準的な線形出力結合器の代わりに、出力層での非線形計算を可能にする多次元バイリニアフィルタの導入。
• 入力データの次元削減のため、2次元主成分分析（2D-PCA）を適用し、データ転送量と計算負荷を最小限に抑える。
• 実数値入力特徴をクォータニオン空間に効率的にマッピングするスプリット関数の使用。
• 分類精度の向上を図るために、QNESNの係数と重みを遺伝的アルゴリズムで最適化。
• エコー状態性を維持しつつ、クォータニオンベースのダイナミクスと非線形変換を効率的に行えるリザボア構造の設計。

実験結果

リサーチクエスチョン

• RQ1 クォータニオン代数を用いることで、音声感情認識の性能を損なわせることなく、エコー状態ネットワークにおけるメモリ消費量を効果的に削減できるか？
• RQ2 線形出力結合器をバイリニアフィルタに置き換えることで、音声データの高次統計的特徴のモデリングがどのように向上するか？
• RQ3 2D-PCAの前処理が、QNESNモデルの効率性と精度にどの程度寄与するか？
• RQ4 提案されたQNESNアーキテクチャは、ベンチマークデータセットにおいて標準的なESNおよび既存の最先端のSERシステムを上回るか？
• RQ5 QNESNのパラメータを遺伝的アルゴリズムで最適化することで、感情分類精度に顕著な向上が得られるか？

主な発見

• QNESNモデルは、EMODB、SAVEE、IEMOCAPデータセットにおいて、標準的なESNおよび多数の最新の最先端の音声感情認識システムを上回る高い分類精度を達成した。
• クォータニオン表現の活用により、必要なパラメータ数が削減され、メモリ消費量が顕著に低減された一方で、特徴表現の保持または向上が確認された。
• 出力層に組み込まれたバイリニアフィルタは、リザボア活性化の非線形関係を効果的に捉え、異なる感情状態を区別する能力を向上させた。
• 2D-PCAの前処理により、入力次元が低減され、計算速度が向上し、データ転送のオーバーヘッドが低下したが、性能の劣化は認められなかった。
• QNESNの重みと係数を遺伝的アルゴリズムで最適化することで、全テストデータセットで収束性と頑健性が向上した。
• 提案モデルは複数のデータセットで一貫した性能向上を示し、音声感情認識タスクにおける優れた一般化能力を示した。