[논문 리뷰] Insights into End-to-End Learning Scheme for Language Identification

Weicheng Cai, Zexin Cai외 3명|arXiv (Cornell University)|2018. 04. 02.

Speech Recognition and Synthesis참고 문헌 31인용 수 15

한 줄 요약

이 논문은 원시 음성 특징에서 음성 수준 표현을 공동으로 학습하기 위해 CNN 프론트엔드와 일반 인코딩 레이어를 통합한 새로운 엔드 투 엔드 학습 체계를 제안한다. NIST LRE07 클로즈드셋 작업에서 최신 기술 수준의 성능을 달성하였으며, CNN-LDE 모델은 30초 음성에서 1.13% EER을 기록하여 DNN PPP 기반 시스템과 유사한 성능을 보였고, 전통적인 GMM i-vector 방법보다는 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

A novel interpretable end-to-end learning scheme for language identification is proposed. It is in line with the classical GMM i-vector methods both theoretically and practically. In the end-to-end pipeline, a general encoding layer is employed on top of the front-end CNN, so that it can encode the variable-length input sequence into an utterance level vector automatically. After comparing with the state-of-the-art GMM i-vector methods, we give insights into CNN, and reveal its role and effect in the whole pipeline. We further introduce a general encoding layer, illustrating the reason why they might be appropriate for language identification. We elaborate on several typical encoding layers, including a temporal average pooling layer, a recurrent encoding layer and a novel learnable dictionary encoding layer. We conducted experiment on NIST LRE07 closed-set task, and the results show that our proposed end-to-end systems achieve state-of-the-art performance.

연구 동기 및 목표

• 고전적인 GMM i-vector 방법의 이론적 및 실용적 장점을 반영하는 이론적으로도 실용적으로도 호환 가능한 엔드 투 엔드 학습 체계를 개발하기 위해.
• 변동 길이의 음성 특징을 고수준 표현으로 변환하는 데서 CNN의 기능과 영향을 조사하기 위해.
• 시간적 특징을 음성 수준의 벡터로 통합하는 데 사용할 수 있는 통합된 구성 요소로서 일반 인코딩 레이어를 제안하고 평가하기 위해.
• TAP, RNN, 학습 가능한 딕셔너리 인코딩 등의 다양한 인코딩 전략이 LID에 있어 얼마나 효과적인지 비교하기 위해.
• 오직 음성 수준 특징만을 사용해도 DNN에서 유도된 특징을 사용하는 시스템과 동등한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 변동 길이의 Fbank 특징에서 계층적이고 맥락 인식 가능한 표현을 자동으로 추출하기 위해 프론트엔드 컨볼루션 신경망(CNN)을 사용한다.
• CNN의 출력을 고정 길이의 음성 수준 벡터로 매핑하는 일반 인코딩 레이어를 도입하여 기존의 i-vector 추출 방식을 대체한다.
• 세 가지 인코딩 변형을 구현한다: 시간 평균 풀링(TAP), 게이트드 순환 유닛(GRU), 그리고 새로운 학습 가능한 딕셔너리 인코딩(LDE) 레이어.
• 학습률 감소를 60번째 및 80번째 에포크에 적용하면서, 90 에포크 동안 교차 엔트로피 손실과 확률적 경사 하강법을 사용해 전체 엔드 투 엔드 시스템을 훈련시킨다.
• 훈련 중에 음성을 200에서 1000 프레임 사이의 길이로 무작위로 자르거나 연장함으로써 데이터 증강을 구현하여 시스템의 강건성을 향상시킨다.
• 재학습 없이도 임의의 지속 시간(3초, 10초, 30초)을 가진 테스트 음성을 네트워크를 순차적으로 통과시켜 동일한 모델을 적용한다.

실험 결과

연구 질문

• RQ1 어떻게 고전적인 GMM i-vector 방법의 이론적 및 실용적 장점을 반영하는 엔드 투 엔드 신경망 아키텍처를 설계할 수 있는가?
• RQ2 LID 맥락에서 변동 길이의 음성 입력에서 분류 가능한 표현을 학습하는 데서 CNN의 기능적 역할은 무엇인가?
• RQ3 RNN이 장기 의존성을 모델링할 수 있음에도 불구하고, LID에서 TAP, LDE 등의 일부 인코딩 레이어가 RNN보다 성능이 뛰어나는 이유는 무엇인가?
• RQ4 DNN에서 도출된 특징(예: PPP 또는 터널 특징)을 사용하지 않고도 원시 음성 특징(Fbank)만으로도 성능이 동등한 시스템을 구현할 수 있는가?
• RQ5 훈련 데이터의 지속 시간 범위가 제한되어 있을 때, 테스트 음성의 지속 시간이 엔드 투 엔드 LID 모델의 성능에 얼마나 영향을 미치는가?

주요 결과

• CNN-LDE 모델은 30초 음성에서 EER 0.96%를 기록하여 표 1에 나열된 모든 전통적인 GMM i-vector 및 DNN 기반 시스템을 뛰어넘었다.
• CNN-TAP 모델은 30초 음성에서 EER 1.73%를 기록하여 GMM i-vector 기반 베이스라인(3.02% EER)을 크게 뛰어넘었고, DNN PPP 특징 시스템(0.32% EER)의 성능에 근접하였다.
• 더 많은 파라미터를 가졌음에도 불구하고, CNN-GRU 및 CNN-LSTM 모델은 긴 음성(30초)에서 성능이 저하되어 거의 무작위 수준에 가까운 EER를 보였으며, 이는 '문장 길이의 저주' 현상이 나타남을 시사한다.
• 학습 가능한 딕셔너리 인코딩(LDE) 레이어는 뛰어난 일반화 능력을 보이며, 10초 음성에서 EER 2.61%, 30초 음성에서 EER 1.13%를 기록하여 DNN PPP 특징 시스템(30초에서 0.61% EER)과 유사한 성능을 달성하였다.
• TAP 및 LDE가 RNN 기반 인코더보다 성능이 뛰어나는 것은 LID의 맥락에서 국소적 특징의 분포를 모델링하는 것이 시간적 구조를 유지하는 것보다 더 중요하다는 것을 시사한다.
• PPP나 터널 특징과 같은 DNN에서 도출된 특징을 사용하지 않더라도 엔드 투 엔드 시스템이 최신 기술 수준의 성능을 달성하였으며, 이는 원시 음성 특징과 적절한 인코딩 조합만으로도 높은 정확도를 확보할 수 있음을 시사한다.