[논문 리뷰] Speech recognition with quaternion neural networks

Titouan Parcollet, Mirco Ravanelli외 3명|arXiv (Cornell University)|2018. 11. 21.

Music and Audio Processing참고 문헌 23인용 수 14

한 줄 요약

이 논문은 자동 음성 인식을 위한 허수 신경망(QNNs)을 제안하며, 허수 대수를 활용해 내부 특징 상관관계(예: 멜 에너지 및 도함수)와 프레임 간 시간적 관계를 실수 기반 네트워크보다 더 효율적으로 함께 모델링한다. TIMIT에서의 실험 결과, 동등한 실수 기반 모델 대비 최대 3.96배 적은 파라미터로 최신 기술 수준의 음소 오류율을 달성한다.

ABSTRACT

Neural network architectures are at the core of powerful automatic speech recognition systems (ASR). However, while recent researches focus on novel model architectures, the acoustic input features remain almost unchanged. Traditional ASR systems rely on multidimensional acoustic features such as the Mel filter bank energies alongside with the first, and second order derivatives to characterize time-frames that compose the signal sequence. Considering that these components describe three different views of the same element, neural networks have to learn both the internal relations that exist within these features, and external or global dependencies that exist between the time-frames. Quaternion-valued neural networks (QNN), recently received an important interest from researchers to process and learn such relations in multidimensional spaces. Indeed, quaternion numbers and QNNs have shown their efficiency to process multidimensional inputs as entities, to encode internal dependencies, and to solve many tasks with up to four times less learning parameters than real-valued models. We propose to investigate modern quaternion-valued models such as convolutional and recurrent quaternion neural networks in the context of speech recognition with the TIMIT dataset. The experiments show that QNNs always outperform real-valued equivalent models with way less free parameters, leading to a more efficient, compact, and expressive representation of the relevant information.

연구 동기 및 목표

• 허수 기반 신경망(QNNs)이 음성 인식에서 다차원 음향 특징을 내부 및 외부 상관관계를 동시에 포착함으로써 더 잘 모델링할 수 있는지 조사하기 위해.
• 엔드 투 엔드 및 HMM 기반 ASR 프레임워크에서 실수 기반 모델과 비교해 허수 기반 컨볼루션(QCNN) 및 순환(QRNN) 네트워크의 성능을 평가하기 위해.
• 실수 기반 모델 대비 훨씬 적은 학습 가능한 파라미터로 더 낮은 음소 오류율(PER)을 달성할 수 있는지 확인하기 위해.
• 허수의 고유한 구조, 특히 힐버트 곱을 통해 음향 특징의 더 효율적이고 일반화 가능한 표현이 가능해지는지 탐색하기 위해.

제안 방법

• 논문은 표준 TIMIT 음향 특징(멜 필터뱅크 에너지, 일阶 및 이阶 도함수)을 처리하기 위해 허수 기반 컨볼루션 신경망(QCNN)과 순환 신경망(QRNN)을 활용한다.
• 허수 대수를 사용해 각 시간프레임의 3차원 특징 벡터를 단일 실체로 인코딩함으로써, 힐버트 곱을 통한 특징 내부의 관계 학습이 가능해진다.
• 모델들은 표준 백프로파게이션, RMSProp 최적화, ReLU/Tanh 활성화 함수 및 드롭아웃을 사용해 훈련되며, 실수 및 허수 네트워크 모두에 대해 하이퍼파ram터가 조정된다.
• 엔드 투 엔드 훈련의 경우, QCNN와 CNN을 TIMIT에서 직접 비교한다. 하이브리드 시스템의 경우, QRNN과 RNN이 HMM 상태를 예측하도록 훈련되며, Kaldi의 WFST 프레임워크를 통해 디코딩된다.
• 실수 기반 모델과 동등한 허수 기반 모델 간의 파라미터 수를 직접 비교하며, 허수 파라미터는 이전 연구에서 제안된 표준 방법을 사용해 초기화된다.
• QNN의 핵심 연산으로 힐버트 곱을 사용함으로써, 다차원 특징 그룹 간의 상호작용을 효율적으로 계산할 수 있다.

실험 결과

연구 질문

• RQ1 허수 신경망(QNNs)은 실수 기반 네트워크보다 음향 특징의 다차원 특징 내부 상관관계(예: 멜 에너지 및 도함수)를 더 효과적으로 모델링할 수 있는가?
• RQ2 CNN과 RNN에 허수 대수를 적용할 경우 TIMIT 벤치마크에서 음소 인식 정확도가 향상되는가?
• RQ3 QNN는 실수 기반 모델 대비 학습 가능한 파라미터 수를 얼마나 줄일 수 있으며, 성능을 유지하거나 향상시키는가?
• RQ4 QNN의 파라미터 수 감소가 음성 인식 작업에서 더 나은 일반화 능력과 과적합 감소를 이끌어내는가?

주요 결과

• QCNN는 TIMIT 테스트 세트에서 19.5%의 음소 오류율(PER)을 기록했으며, 실수 기반 CNN의 20.6%보다 유의미하게 낮은 파라미터 수를 사용했다.
• QRNN는 테스트 세트에서 18.5%의 PER를 기록했으며, 실수 기반 RNN의 19.0%보다 뛰어난 성능과 일반화 능력을 보였다.
• QRNN의 최대 파라미터 수는 380만 개였고, 동등한 RNN는 940만 개였으며, 동일한 은닉 차원에서 2.47배의 파라미터 감소를 보였다.
• 모든 실험에서 관찰된 최대 파라미터 감소 비율은 3.96배에 달했으며, 이는 QNN가 상당한 효율성 향상을 가져옴을 시사한다.
• 더 큰 은닉 차원에서도 QRNN는 자유 파라미터 수가 적어 과적합 현상이 덜 두드러졌다.
• 결과적으로 허수 네트워크가 실수 기반 모델보다 특징 내부 관계와 프레임 간 의존성을 더 효과적으로 학습함으로써, 더 표현력 있고 압축된 표현을 가능하게 함을 확인했다.