[논문 리뷰] Unsupervised neural and Bayesian models for zero-resource speech processing

Herman Kamper|arXiv (Cornell University)|2017. 01. 03.

Speech Recognition and Synthesis참고 문헌 108인용 수 6

한 줄 요약

이 학위논문은 자원이 없는 음성 처리를 위한 하이브리드 상향식 및 하향식 접근법을 제안하며, 분류적 프레임 수준 표현 학습을 위한 상응성 autoencoder(cAE)와 무 supervision 단어 분할 및 군집화를 위한 세그멘터리 베이지안 모델을 도입한다. cAE는 발견된 용어로부터 약한 상향식 지도를 활용하여, 프레임 수준 표현 학습에서 60퍼센트 이상의 상대적 향상을 달성한다. 또한 베이지안 모델은 숫자 인식에서 약 20퍼센트의 단어 오류율(WER)을 달성하며, 대규모 어휘, 다수의 화자 데이터에 적용된 첫 번째 완전 커버리지 시스템이다.

ABSTRACT

In settings where only unlabelled speech data is available, zero-resource speech technology needs to be developed without transcriptions, pronunciation dictionaries, or language modelling text. There are two central problems in zero-resource speech processing: (i) finding frame-level feature representations which make it easier to discriminate between linguistic units (phones or words), and (ii) segmenting and clustering unlabelled speech into meaningful units. In this thesis, we argue that a combination of top-down and bottom-up modelling is advantageous in tackling these two problems. To address the problem of frame-level representation learning, we present the correspondence autoencoder (cAE), a neural network trained with weak top-down supervision from an unsupervised term discovery system. By combining this top-down supervision with unsupervised bottom-up initialization, the cAE yields much more discriminative features than previous approaches. We then present our unsupervised segmental Bayesian model that segments and clusters unlabelled speech into hypothesized words. By imposing a consistent top-down segmentation while also using bottom-up knowledge from detected syllable boundaries, our system outperforms several others on multi-speaker conversational English and Xitsonga speech data. Finally, we show that the clusters discovered by the segmental Bayesian model can be made less speaker- and gender-specific by using features from the cAE instead of traditional acoustic features. In summary, the different models and systems presented in this thesis show that both top-down and bottom-up modelling can improve representation learning, segmentation and clustering of unlabelled speech data.

연구 동기 및 목표

• 비표기된 음성에서 직접 언어적 구조를 발견하는 무 supervision 방법을 개발하여, 자원이 부족한 환경에서의 음성 기술을 가능하게 한다.
• 비표기된 음성의 분류적 프레임 수준 표현 학습과 무 supervision 분할/군집화라는 이중 과제를 해결한다.
• 자원이 없는 음성 처리에서 상향식(고수준 지식)과 하향식(저수준 특징) 모델링 간의 상호보완적 상호작용을 조사한다.
• 기존 연구에서의 주요 격차인 대규모 어휘, 다수의 화자 대화 데이터에 대해 무 supervision 시스템을 확장한다.
• 하이브리드 표현을 사용하여 발견된 음성 군집에서 화자 및 성별 변동성을 줄인다.

제안 방법

• 비표기된 용어 발견 시스템으로부터 약한 상향식 지도를 활용하여, 분류적 프레임 수준 표현 학습을 유도하는 상응성 autoencoder(cAE)를 제안한다.
• cAE는 대규모 비표기 음성 데이터에 대한 하향식 사전 학습을 통해 초기화되어, 매우 분류 능력이 뛰어난 특징을 학습할 수 있도록 한다.
• 새로운 세그멘터리 베이지안 모델은 가변 지속 시간을 가진 단어 후보를 고정된 차원의 음성 임베딩 공간에 매핑함으로써, 동시에 분할과 군집화를 수행한다.
• 이 모델은 고정된 음성 단어 임베딩 함수를 학습하면서도, 단어 경계와 군집 할당을 반복적으로 개선하기 위해 지그문 샘플러(Gibbs sampler)를 사용한다.
• 대규모 어휘에 대한 확장성을 확보하기 위해, 불가능한 단어 경계를 제거하기 위해 하향식 사전 지식으로서의 음절 경계 탐지 기법을 활용한다.
• cAE 특징를 분할 시스템에 통합하여, 발견된 군집에서 화자 및 성별 특이성을 줄인다.

실험 결과

연구 질문

• RQ1 발견된 용어로부터의 약한 상향식 지도가 무 supervision 프레임 수준 표현 학습을 크게 향상시킬 수 있는가?
• RQ2 고정된 차원의 음성 단어 임베딩을 사용하여, 비표기된 음성의 분할과 군집화를 동시에 수행할 수 있는가?
• RQ3 상향식 분할과 하향식 음절 경계 탐지의 조합이 대규모 어휘, 다수의 화자 데이터에서 성능을 어떻게 향상시키는가?
• RQ4 cAE에서 유도된 하이브리드 표현이 무 supervision 음성 군집에서 화자 및 성별 편향을 어느 정도 줄일 수 있는가?
• RQ5 실제 데이터에서의 무 supervision 단어 오류율과 커버리지 측면에서, 제안된 모델은 최신 기술 수준의 시스템과 어떻게 비교되는가?

주요 결과

• cAE는 이전 최고 기술 대비 60퍼센트 이상의 상대적 향상을 보이며, 상향식 지도의 효과를 입증한다.
• cAE는 비표기 음성 데이터에 대한 하향식 사전 학습을 통해 초기화되지 않은 이상 유용한 표현을 학습하지 못함을 보여주며, 두 학습 방식이 모두 필수적임을 강조한다.
• 세그멘터리 베이지안 모델은 다수의 화자 대화형 숫자 인식 작업에서 약 20퍼센트의 단어 오류율(WER)을 달성하였으며, 이는 이전의 HMM 기반 시스템 대비 약 10퍼센트의 절대적 향상이다.
• 이 연구는 대규모 어휘, 다수의 화자 대화 음성 데이터에 적용된 첫 번째 완전 커버리지 무 supervision 분할 및 군집화 시스템을 제시한다.
• cAE 특징를 분할 시스템에 통합함으로써, 발견된 군집에서 화자 및 성별 변동성을 줄이고 군집 순도를 향상시켰다.
• 상향식 분할과 하향식 음절 경계 탐지 기반의 하향식 사전 지식을 조합함으로써, 순수하게 하향식 음절 기반 접근법보다 성능이 뛰어나다는 것을 입증하였다.