[논문 리뷰] Role of non-linear data processing on speech recognition task in the framework of reservoir computing

Flavio Abreu Araujo, Mathieu Riou외 9명|arXiv (Cornell University)|2020. 01. 01.

Neural Networks and Reservoir Computing참고 문헌 36인용 수 88

한 줄 요약

이 논문은 비선형 음향 전처리가 저항성 컴퓨팅 하드웨어에서 음성 인식 성능에 미치는 영향을 조사하며, 높은 인식률의 주요 원인이 저항성 자체가 아니라 특징 추출의 비선형성임을 보여준다. 자기 나노진동자들을 뉴모르픽 하드웨어 플랫폼으로 사용하여, 전처리만으로의 성능 향상과 저항성의 이득을 정량화한 결과, 선형 스펙트로그램은 하드웨어에서 가장 높은 성능 향상을 보였고, MFCC 및 코흐레그램과 같은 비선형 필터는 이미 하드웨어 없이도 거의 최적의 성능을 달성하였다.

ABSTRACT

The reservoir computing neural network architecture is widely used to test hardware systems for neuromorphic computing. One of the preferred tasks for bench-marking such devices is automatic speech recognition. This task requires acoustic transformations from sound waveforms with varying amplitudes to frequency domain maps that can be seen as feature extraction techniques. Depending on the conversion method, these transformations sometimes obscure the contribution of the neuromorphic hardware to the overall speech recognition performance. Here, we quantify and separate the contributions of the acoustic transformations and the neuromorphic hardware to the speech recognition success rate. We show that the non-linearity in the acoustic transformation plays a critical role in feature extraction. We compute the gain in word success rate provided by a reservoir computing device compared to the acoustic transformation only, and show that it is an appropriate bench-mark for comparing different hardware. Finally, we experimentally and numerically quantify the impact of the different acoustic transformations for neuromorphic hardware based on magnetic nano-oscillators.

연구 동기 및 목표

• 저항성 컴퓨팅에서 음성 인식 성능에 기여하는 음향 전처리와 뉴모르픽 하드웨어의 기여를 분리하고 정량화하기 위해.
• 다양한 비선형 주파수 도메인 변환 방법이 저항성과 무관하게 인식 성공률에 미치는 영향을 평가하기 위해.
• 자기 나노진동자를 사용한 뉴모르픽 하드웨어를 다양한 전처리 방법의 성능 향상과 비교하여 벤치마킹하기 위해.
• 코흐레그램이나 MFCC 모델에 의존하지 않는 간단한 생물학적 비모방 필터인 Spectro HP가 상태의 최고 성능을 달성할 수 있는지 확인하기 위해.

제안 방법

• 네 가지 주파수 도메인 전처리 방법을 사용: 코흐레그램, MFCC, 선형 스펙트로그램 (ℜ(Spectro)), 및 Spectro HP (|sin^p|ℜ(Spectro)|| − |cos^p|ℑ(Spectro)||).
• TI-46 및 AURORA-2 데이터셋에서 선형 분류기를 사용해 전처리된 특징에 대해 말하기 숫자 인식을 수행하여 독립적인 성능을 평가하였다.
• 2000개의 비선형 자기 노드(STNO)로 구성된 저항성을 시뮬레이션하여, 저항기 상태에 대한 선형 회귀를 통해 하드웨어 기여도를 평가하였다.
• 저항성이 있거나 없는 경우의 인식률을 비교하여 뉴모르픽 하드웨어에 기인한 이득을 계산하였다.
• 실험 결과와 시뮬레이션 결과가 뛰어난 일치를 보이며 모델의 정확성을 검증하였다.
• 청결한 및 노이즈가 있는 디지트를 혼합하여 훈련하고, 청결한 및 노이즈가 있는 서브셋에서 테스트하여 내성에 대한 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 저항성이 없을 때 다양한 비선형 음향 전처리 방법이 음성 인식 성능에 미치는 영향은 어떠한가?
• RQ2 저항성 컴퓨팅 하드웨어와 음향 전처리 중 어느 것이 전체 인식 정확도에 더 큰 기여를 하는가?
• RQ3 전처리 방법의 선택이 뉴모르픽 하드웨어에서 측정 가능한 성능 향상에 영향을 미치는가?
• RQ4 코흐레그램이나 MFCC 모델에 의존하지 않는 단순한 생물학적 비모방 필터인 Spectro HP가 최첨단 성능을 달성할 수 있는가?
• RQ5 노이즈가 다양한 전처리 기법과 함께 저항성의 성능 향상에 미치는 영향은 어떠한가?

주요 결과

• 코흐레그램은 독립적인 특징 추출기로 95.8%의 단어 인식률을 기록하였고, MFCC는 77.2%, Spectro HP는 89.0%를 기록하여 강력한 비선형 특징 추출 능력을 보였다.
• 선형 스펙트로그램은 10%의 인식률로 매우 열악했지만, 비선형성(즉, Spectro HP)을 적용하면 88%로 상승하여 비선형성이 핵심 요소임을 입증하였다.
• 청결한 디지트에서 저항성은 MFCC 필터에 대해 50.70%의 인식률 향상을 보였으며(42.26%에서 92.96%로), 코흐레그램에 대해서는 25.90%의 향상(63.24%에서 89.14%로)을 기록하였다.
• 노이즈가 있는 AURORA-2 데이터에서 MFCC 필터는 48.79%의 향상(68.82%에서 81.20%로)을 기록하였고, 코흐레그램은 23.02%의 향상에 그쳤다. 이는 전처리가 덜 효과적일수록 저항성이 더 큰 기여를 한다는 것을 시사한다.
• 실험적 자기 나노진동기 결과는 시뮬레이션과 뛰어난 일치를 보이며, 하드웨어 벤치마킹을 위한 모델의 정확성을 검증하였다.
• 연구는 선형 스펙트로그램이 하드웨어 평가를 위한 가장 청소된 벤치마크를 제공하며, 클래스를 사전에 분리하지 않아 저항성의 기여가 명확하게 드러나기 때문에 결론을 내렸다.