[논문 리뷰] Leveraging Deep Neural Network Activation Entropy to cope with Unseen Data in Speech Recognition

Vikramjit Mitra, Horacio Franco|arXiv (Cornell University)|2017. 08. 31.

Speech Recognition and Synthesis참고 문헌 25인용 수 4

한 줄 요약

이 논문은 자동 음성 인식에서 알려지지 않은 데이터 조건을 식별하고 적응하기 위해 깊이 있는 신경망 활성화 엔트로피를 신뢰도 측정 기준으로 사용하는 방법을 제안한다. 은닉층의 뉴런 활성화에 대해 짧은 시간 윈도우를 기준으로 러닝 엔트로피를 계산하여, 비지도 학습에서 신뢰할 수 있는 데이터를 선택함으로써, 기준 음성 인식 작업에서 알려지지 않은 음향 조건에서의 성능 저하를 크게 감소시킨다.

ABSTRACT

Unseen data conditions can inflict serious performance degradation on systems relying on supervised machine learning algorithms. Because data can often be unseen, and because traditional machine learning algorithms are trained in a supervised manner, unsupervised adaptation techniques must be used to adapt the model to the unseen data conditions. However, unsupervised adaptation is often challenging, as one must generate some hypothesis given a model and then use that hypothesis to bootstrap the model to the unseen data conditions. Unfortunately, reliability of such hypotheses is often poor, given the mismatch between the training and testing datasets. In such cases, a model hypothesis confidence measure enables performing data selection for the model adaptation. Underlying this approach is the fact that for unseen data conditions, data variability is introduced to the model, which the model propagates to its output decision, impacting decision reliability. In a fully connected network, this data variability is propagated as distortions from one layer to the next. This work aims to estimate the propagation of such distortion in the form of network activation entropy, which is measured over a short- time running window on the activation from each neuron of a given hidden layer, and these measurements are then used to compute summary entropy. This work demonstrates that such an entropy measure can help to select data for unsupervised model adaptation, resulting in performance gains in speech recognition tasks. Results from standard benchmark speech recognition tasks show that the proposed approach can alleviate the performance degradation experienced under unseen data conditions by iteratively adapting the model to the unseen datas acoustic condition.

연구 동기 및 목표

• 분포 이탈로 인해 알려지지 않은 데이터 조건을 만났을 때 성능 저하가 발생하는 음성 인식 시스템을 해결하기 위해.
• 비지도 적응 시나리오에서 모델 가설에 대한 신뢰도 측정 기준을 개발하기 위해.
• 활성화 엔트로피를 통해 깊이 있는 신경망 내 왜곡 전파를 추정하여 더 나은 데이터 선택을 위한 목적을 위해.
• 엔트로피 기반 데이터 선택이 알려지지 않은 음향 조건에서의 모델 적응 성능을 향상시킨다는 것을 입증하기 위해.
• 알려지지 않은 도메인의 레이블이 없는 데이터가 필요 없이도 실용적이고 계산 효율적인 강건한 음성 인식 방법을 제공하기 위해.

제안 방법

• 완전 연결 DNN의 각 은닉층에서의 뉴런 출력에 대해 짧은 시간 윈도우 기반 러닝 엔트로피를 측정한다.
• 특정 레이어의 모든 뉴런에 대해 요약 엔트로피를 계산하여 네트워크 응답의 불확실성을 정량화한다.
• 결과로 도출된 엔트로피 점수를 신뢰도 측정 기준으로 사용하여 높은 불확실성(알려지지 않은 유사 조건) 입력을 식별한다.
• 높은 엔트로피 샘플을 선별하여 비지도 모델 적응을 수행함으로써 강건성을 향상시킨다.
• 선택된 데이터를 사용해 반복적 적응을 적용하여 알려지지 않은 조건 하에서 음성 모델을 개선한다.
• 표준 음성 인식 벤치마크를 활용하여 방법의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 활성화 엔트로피는 음성 인식에서 알려지지 않은 데이터를 식별하기 위한 신뢰할 수 있는 신뢰도 측정 기준이 될 수 있는가?
• RQ2 엔트로피 기반 데이터 선택은 비지도 모델 적응에 얼마나 효과적으로 작용하는가?
• RQ3 엔트로피 기반 적응은 알려지지 않은 음향 조건 하에서 성능 저하를 줄이는가?
• RQ4 활성화 엔트로피는 DNN 내 입력 변동성에 기인한 왜곡 전파를 포착할 수 있는가?
• RQ5 엔트로피 기반 데이터 선택은 표준 벤치마크에서 인식 정확도에 어떤 영향을 미치는가?

주요 결과

• 입력 왜곡으로 인해 전파된 불확실성을 포착함으로써 활성화 엔트로피가 알려지지 않은 데이터 조건의 입력을 효과적으로 식별한다.
• 엔트로피 기반 데이터 선택 방법이 표준 음성 인식 벤치마크에서 알려지지 않은 음향 조건에서의 모델 적응 성능을 향상시킨다.
• 높은 엔트로피 샘플을 사용한 반복적 적응을 통해 알려지지 않은 데이터 조건 하에서의 성능 저하가 크게 완화된다.
• 기준 적응 전략 대비 알려지지 않은 테스트 세트에서 단어 오류율(WER) 감소 측면에서 측정 가능한 성과 향상을 달성한다.
• 이 방법은 계산 효율적이며 알려지지 않은 도메인의 추가 레이블이 없는 데이터가 필요 없다.
• 결과는 DNN 활성화 내 엔트로피가 분포 이탈 하에서 결정 신뢰도와 강하게 상관됨을 보여준다.