[논문 리뷰] Analyzing Hidden Representations in End-to-End Automatic Speech Recognition Systems

Yonatan Belinkov, James Glass|arXiv (Cornell University)|2017. 09. 13.

Speech Recognition and Synthesis참고 문헌 27인용 수 35

한 줄 요약

이 논문은 연결주의 시계열 분류(CTC)로 훈련된 컨volutional 및 순환 신경망 기반의 딥 엔드 투 엔드 자동 음성 인식(ASR) 모델의 은닉 표현을 분석한다. 다양한 레이어에서 추출한 특징에 대해 프레임 수준의 음소 분류기를 미세조정함으로써, 하위 레이어—특히 첫 번째 컨볼루션 레이어와 초기 순환 레이어—가 가장 음소적으로 의미 있는 표현을 포착하는 것으로 나타났으며, 깊이가 더해질수록 성능이 떨어지는 것으로 나타나 음소 정보가 네트워크의 깊이를 따라 일관되게 유지되지 않는다는 점을 시사한다.

ABSTRACT

Neural models have become ubiquitous in automatic speech recognition systems. While neural networks are typically used as acoustic models in more complex systems, recent studies have explored end-to-end speech recognition systems based on neural networks, which can be trained to directly predict text from input acoustic features. Although such systems are conceptually elegant and simpler than traditional systems, it is less obvious how to interpret the trained models. In this work, we analyze the speech representations learned by a deep end-to-end model that is based on convolutional and recurrent layers, and trained with a connectionist temporal classification (CTC) loss. We use a pre-trained model to generate frame-level features which are given to a classifier that is trained on frame classification into phones. We evaluate representations from different layers of the deep model and compare their quality for predicting phone labels. Our experiments shed light on important aspects of the end-to-end model such as layer depth, model complexity, and other design choices.

연구 동기 및 목표

• 엔드 투 엔드 ASR 모델이 명시적인 음소 감독 없이도 음소적으로 의미 있는 표현을 암묵적으로 학습하는지 조사하기 위해.
• 딥 엔드 투 엔드 ASR 모델의 다양한 레이어에서 표현 품질이 어떻게 변하는지 평가하기 위해.
• 모델의 복잡성과 깊이가 더 나은 음소 표현 학습과 관련이 있는지 확인하기 위해.
• ASR 성능과 모델의 은닉 레이어에서 학습된 표현의 품질 간 상관관계를 평가하기 위해.
• 더 높은 수준의 표현이 '파형, 파형'과 같은 근본적인 음소 범주(예: 파형, 파형)로의 추상화를 지원하는지 탐색하기 위해.

제안 방법

• 사전 훈련된 CTC 기반 엔드 투 엔드 ASR 모델의 다양한 레이어에서 추출한 은닉 표현에 대해 프레임 수준의 음소 분류기를 미세조정한다.
• 정확한 표현 품질 평가를 가능하게 하기 위해 프레임 수준의 음소 정렬 정보가 포함된 음소 분할 데이터셋을 사용한다.
• 각 레이어의 프레임 수준 특징을 기반으로 다층 퍼셉트론 분류기를 훈련하여 음소 레이블을 예측한다.
• 분류 정확도와 F1 스코어를 통해 표현 품질을 평가하고, 레이어 간 성능을 비교한다.
• 표현을 t-SNE를 사용해 시각화하여 벡터 공간에서 클래스 간 분리도를 평가한다.
• 분석을 더 높은 수준의 음소 범주(예: 정음, 마찰음, 파형)로 확장하고, 레이어 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 ASR 모델이 명시적인 음소 감독 없이 얼마나 음소 정보를 학습하는가?
• RQ2 딥 엔드 투 엔드 모델의 어느 레이어가 음소 단위에 대해 가장 정보적인 표현을 포착하는가?
• RQ3 모델의 깊이 또는 복잡성 증가가 학습된 음소 표현의 품질 향상과 관련이 있는가?
• RQ4 ASR 시스템 성능과 모델의 은닉 레이어에서 학습된 표현의 품질 간 상관관계가 있는가?
• RQ5 네트워크의 더 높은 레이어가 파형, 파형 등의 추상적인 음소 범주를 더 잘 표현하는가?

주요 결과

• 첫 번째 컨볼루션 레이어(cnn1)와 초기 순환 레이어(rnn5 등)가 가장 높은 음소 분류 정확도를 기록하여, 더 나은 음소 표현 품질을 나타낸다.
• 두 번째 컨볼루션 레이어(cnn2)는 음소 분류 성능을 크게 떨어뜨려 깊이가 더해진 컨볼루션 레이어가 음소 세부 정보를 상실할 수 있음을 시사한다.
• 초기 순환 레이어를 거쳐 음소 분류 성능이 향상되나, 최종 순환 레이어에서는 성능이 저하되어 상위 레이어가 음소 정보를 잘 유지하지 못함을 나타낸다.
• 하위 레이어의 표현은 t-SNE 시각화에서 더 나은 클래스 분리도를 보이며, 음소 단위가 더 명확하게 군집되어 있다.
• 더 높은 수준의 음소 범주에 대해서는 상위 레이어(rnn5 등)에서 혼합된 결과를 보였다: 일부 범주는 성능 향상이 있었고, 다른 범주는 성능 저하가 있었으며, 이는 맥락에 따라 유용성이 달라질 수 있음을 시사한다.
• rnn5 레이어에서 음소의 F1 스코어가 증가했고, 낭성의 내부 클래스 F1도 향상되어, 맥락이 중요한 경우 상위 레이어가 내부 음소를 더 잘 구분할 수 있음을 나타낸다.