[논문 리뷰] Exploring spectro-temporal features in end-to-end convolutional neural networks

Sean Robertson, Gerald Penn외 1명|arXiv (Cornell University)|2019. 01. 01.

Speech Recognition and Synthesis참고 문헌 34인용 수 6

한 줄 요약

이 논문은 음성 인식을 위한 전통적인 멜스케일 필터 백에 두 가지 개선 사항을 탐구한다: 삼각형 필터를 보다 우수한 시간-주파수 국소화 성능을 가진 가보르 또는 감마톤 필터로 대체하고, STFT 처리 순서를 재정렬하여 더 짧은 시간 스케일로 통합하도록 한다. 이러한 수정에도 불구하고, TIMIT 데이터셋에서 엔드 투 엔드 CNN을 사용한 실험 결과, 발음 오류율에 유의미한 향상이 없었으며, 이는 더 높은 해상도의 특징이 이미 전체 발화 문맥을 활용하는 모델에게는 유익하지 않을 수 있음을 시사한다.

ABSTRACT

Triangular, overlapping Mel-scaled filters ("f-banks") are the current standard input for acoustic models that exploit their input's time-frequency geometry, because they provide a psycho-acoustically motivated time-frequency geometry for a speech signal. F-bank coefficients are provably robust to small deformations in the scale. In this paper, we explore two ways in which filter banks can be adjusted for the purposes of speech recognition. First, triangular filters can be replaced with Gabor filters, a compactly supported filter that better localizes events in time, or Gammatone filters, a psychoacoustically-motivated filter. Second, by rearranging the order of operations in computing filter bank features, features can be integrated over smaller time scales while simultaneously providing better frequency resolution. We make all feature implementations available online through open-source repositories. Initial experimentation with a modern end-to-end CNN phone recognizer yielded no significant improvements to phone error rate due to either modification. The result, and its ramifications with respect to learned filter banks, is discussed.

연구 동기 및 목표

• 삼각형 필터를 시간-대역폭 곱에서 최적인 가보르 필터로, 또는 인간 청각 인지에 더 생물학적으로 타당한 감마톤 필터로 대체하여 전통적인 멜스케일 필터 백의 시간-주파수 해상도를 향상시키는 것.
• 필터 응답을 통합한 후 창(windowing)을 적용하는 대신, 필터 응답에 시간 창을 적용하여 파wr 스펙트럼을 계산하기 전에 처리 순서를 재정렬함으로써 더 짧은 통합 창 크기를 가능하게 하고, 더 높은 시간 해상도를 유지하는 것.
• 이러한 수정된 특징이 엔드 투 엔드 음성 인식, 특히 발음 인식 작업에서 성능 향상에 기여하는지 평가하는 것.
• 재현 가능성과 광범위한 활용을 위해 제안된 특징의 오픈소스 구현을 제공하는 것.
• 최근 엔드 투 엔드 ASR에서 학습된 필터 백으로의 추세를 고려하여 이러한 변화의 함의를 조사하는 것.

제안 방법

• 표준 삼각형 멜필터를 시간-대역폭 곱에서 최적인 가보르 필터로, 또는 인간 청각 인지에 더 생물학적으로 타당한 감마톤 필터로 대체하는 것.
• 필터 응답에 시간 창을 적용한 후 전력 스펙트럼을 계산함으로써 정보 손실을 최소화하는 방식으로 STFT 파이프라인의 순서를 재정렬하는 것.
• 수정된 특징 추출 파이프라인을 파이썬 패키지로 구현하고, 접근성을 높이기 위해 COVAREP MATLAB 툴박스와 통합하는 것.
• TIMIT 데이터셋에서 발음 인식을 위해 [39] 기반의 현대적 엔드 투 엔드 CNN 아키텍처를 CTC(연결주의 시간 분류) 기반으로 훈련하는 것.
• 통계적 안정성을 확보하기 위해 다수의 랜덤 시드를 사용하여 발음 오류율(PER)을 평가하는 것.
• 기본 f-bank 및 라이브러리 모델(학습된 필터 백이 포함된 것 포함)과 비교하여 수정된 특징(Gabor, Gammatone, 짧은 통합)의 성능을 평가하는 것.

실험 결과

연구 질문

• RQ1 삼각형 멜필터를 가보르 또는 감마톤 필터로 대체하면 엔드 투 엔드 CNN 환경에서 발음 인식 성능이 향상되는가?
• RQ2 필터 응답 통합 후 창 적용을 통해 STFT 파이프라인의 순서를 재정렬하면 더 높은 시간-주파수 해상도와 더 나은 ASR 정확도를 달성할 수 있는가?
• RQ3 전체 발화 문맥을 처리하는 엔드 투 엔드 모델과 함께 사용할 경우, 제안된 특징 수정 사항이 효과적인가?
• RQ4 엄격한 통계 테스트를 통해 고정된 수작업 필터 백과 학습된 필터 백의 성능 결과를 비교했을 때, 어떤 차이가 있는가?
• RQ5 왜 학습된 필터 백이 자주 고정된 필터 백의 형태를 수렴하는가? 이는 학습된 필터의 가치에 대해 어떤 함의를 갖는가?

주요 결과

• 삼각형 멜필터를 가보르 또는 감마톤 필터로 대체하는 것은 TIMIT 데이터셋에서 발음 오류율에 유의미한 향상이 없었다.
• 더 짧은 시간 스케일로 통합하는 짧은 통합 특징 수정 사항 역시 표준 f-bank에 비해 통계적으로 유의미한 향상이 없었다.
• 짧은 통합 특징을 사용한 최고 성능 설정에서 발음 오류율은 17.89%를 기록했으며, 이는 이전의 학습된 필터 백 연구에서 얻은 최고 성능과 동일했다.
• 이론적으로 더 높은 시간-주파수 해상도를 가졌음에도 불구하고, 수정된 특징들은 표준 f-bank을 초월하지 못했으며, 이는 엔드 투 엔드 모델이 특징 수준의 해상도 변화에 덜 민감할 수 있음을 시사한다.
• 결과는 엔드 투 엔드 모델이 이미 전체 발화 문맥을 매우 효과적으로 활용하고 있어 국소적 특징 해상도의 차이가 실질적으로 상쇄됨을 시사한다.
• 이 연구는 이론적 특징 표현 향상과 실질적 엔드 투 엔드 ASR 성능 향상 사이에 잠재적인 괴리가 존재할 수 있음을 강조하며, 특히 학습된 필터 백과 비교했을 때 더욱 그렇다.