[논문 리뷰] Learning Multiscale Features Directly From Waveforms

Zhenyao Zhu, Jesse Engel외 1명|arXiv (Cornell University)|2016. 03. 31.

Speech and Audio Processing참고 문헌 13인용 수 30

한 줄 요약

이 논문은 원시 음성 웨이브폼에서 직접 일련의 시간적 및 주파수 특징을 학습하는 다스케일 컨볼루션 프론트엔드를 제안한다. 이는 푸리에 기반 스펙트로그램에서 발생하는 해상도 상충 관계를 분리함으로써 해결한다. 다양한 창 크기, 스트라이드, 필터 수를 사용해 다중 스케일에서 컨볼루션을 적용함으로써, 동일한 파rameter 수를 가진 스펙트로그램 기반 베이스라인 대비 단어 오류율(WER)을 20.7% 상대적으로 감소시킨다.

ABSTRACT

Deep learning has dramatically improved the performance of speech recognition systems through learning hierarchies of features optimized for the task at hand. However, true end-to-end learning, where features are learned directly from waveforms, has only recently reached the performance of hand-tailored representations based on the Fourier transform. In this paper, we detail an approach to use convolutional filters to push past the inherent tradeoff of temporal and frequency resolution that exists for spectral representations. At increased computational cost, we show that increasing temporal resolution via reduced stride and increasing frequency resolution via additional filters delivers significant performance improvements. Further, we find more efficient representations by simultaneously learning at multiple scales, leading to an overall decrease in word error rate on a difficult internal speech test set by 20.7% relative to networks with the same number of parameters trained on spectrograms.

연구 동기 및 목표

• 푸리에 기반 스펙트로그램에서 발생하는 고유한 시간-주파수 해상도 상충 관계를 극복하기 위해 원시 웨이브폼에서 직접 특징을 학습하는 것.
• 더 작은 스트라이드와 더 많은 필터를 통해 시간적 및 주파수 해상도를 높임으로써 음성 인식 성능 향상 여부를 조사하는 것.
• 단일 스케일 학습 대비 다중 스케일에서의 공동 학습이 더 효율적이고 정확한 표현을 제공하는지 탐색하는 것.
• 다양한 창 크기 기반 필터 창 크기에 따라 다스케일 특징이 자연스럽게 서로 다른 주파수 대역을 특징화하는지 여부를 조사하는 것.
• 기본 스펙트로그램 기반 베이스라인과 비교해 엔드 투 엔드 음성 인식 시스템에서 원시 웨이브폼 기반 특징의 성능을 평가하는 것.

제안 방법

• 원시 웨이브폼에 다양한 창 크기(예: 1ms, 5ms, 10ms)와 스트라이드를 가진 컨볼루션 필터를 적용하여 다스케일 시간적 및 스펙트럼 특징을 추출한다.
• 다운스트림 처리를 위해 특징 맵을 동일한 시간 해상도(20ms/프레임)로 정렬하기 위해 최대 풀링과 연결(concatenation)을 사용한다.
• 각 스케일에서 스트라이드를 통해 시간 해상도를, 필터 수를 통해 주파수 해상도를 별도로 제어함으로써 푸리에 변환의 상충 관계를 피한다.
• 배치 정규화와 ReLU 활성화 함수를 사용한 공유 백엔드 네트워크(컨볼루션, 양방향 RNN, 완전 연결 계층)를 CTC 손실을 사용해 엔드 투 엔드로 훈련시킨다.
• 특징 차원 일관성을 유지하기 위해 복합 특징 차원을 유지하는 볼트넥 레이어를 포함해 프론트엔드를 최적화한다.
• 다양한 스케일 간에 필터 백터를 공동으로 학습함으로써, 작은 창은 고주파수에 특화되고 큰 창은 저주파수에 특화되도록 한다.

실험 결과

연구 질문

• RQ1 원시 웨이브폼에 직접 컨볼루션 필터를 적용함으로써 시간적 및 주파수 해상도를 분리함으로써 스펙트로그램을 초월하는 음성 인식 성능 달성 가능할까?
• RQ2 단일 스케일 프론트엔드에서 스트라이드를 줄이고 필터 수를 늘일 경우, 스펙트로그램 기반 베이스라인을 초월하는 성능 향상이 이루어질까?
• RQ3 다중 스케일에서의 공동 학습이 단일 스케일 학습 대비 더 효율적이고 정확한 특징 표현을 가능하게 할까?
• RQ4 다스케일 필터가 창 크기 및 필터 수에 따라 자연스럽게 서로 다른 주파수 대역을 특징화하는가?
• RQ5 표준 엔드 투 엔드 음성 인식 파이프라인에서 원시 웨이브폼 기반 특징이 스펙트로그램과 비교해 어떻게 성능을 내는가?

주요 결과

• 단일 스케일 컨볼루션 프론트엔드에서 스트라이드를 줄이면 단어 오류율(WER)이 향상되며, 2ms 스트라이드에서 스펙트로그램을 초월하는 성능을 기록한다.
• 특히 더 긴 스트라이드에서 필터 수를 늘리면 WER이 상대적으로 8% 향상되며, 더 높은 주파수 해상도의 이점이 입증된다.
• 고(1ms), 중간(5ms), 저(10ms) 해상도 스케일을 가진 다스케일 프론트엔드는 동일한 파rameter 수를 가진 스펙트로그램 기반 베이스라인 대비 20.7% 상대적 WER 감소를 달성했다.
• 다스케일 학습은 자연스러운 주파수 특성화를 가능하게 하며, 작은 창은 고주파수에 집중하고 큰 창은 저주파수에 집중함으로써 중복을 줄인다.
• 더 많은 필터를 사용하는 단일 스케일 모델조차도 스케일 다양성이 더 효과적임을 보여, 스케일 다양성은 순수 필터 수 증가보다 더 유익하다.
• 이 방법은 원시 웨이브폼 학습 분야에서 최고 성능을 기록하며, 웨이브폼에서 직접 특징을 학습하는 것이 전통적인 푸리에 기반 표현을 능가할 수 있음을 입증한다.