[논문 리뷰] An Empirical Evaluation of Zero Resource Acoustic Unit Discovery

Chunxi Liu, Jinyi Yang외 8명|arXiv (Cornell University)|2017. 02. 05.

Speech Recognition and Synthesis참고 문헌 20인용 수 4

한 줄 요약

이 논문은 음성 단위 발견(ACO) 프레임워크를 향상시켜, 자기지도 학습 선형 판별 분석(LDA)과 시간 지연 신경망(TDNN)에서 유도된 多국어 블로킹(BN) 특징을 융합함으로써 무 supervision 음성 표현 학습을 향상시킨다. 이 방법은 동일/다른 단어 쌍 식별 및 문서 분류와 같은 후행 작업에서 뚜렷한 성능 향상을 보이며, 음소 전사가 제공되지 않을 경우 음소 전사 대신 단어 쌍이나 주제 레이블과 같은 보조 자원을 사용하여 ACO의 유효성을 신뢰성 있게 평가할 수 있음을 보여준다.

ABSTRACT

Acoustic unit discovery (AUD) is a process of automatically identifying a categorical acoustic unit inventory from speech and producing corresponding acoustic unit tokenizations. AUD provides an important avenue for unsupervised acoustic model training in a zero resource setting where expert-provided linguistic knowledge and transcribed speech are unavailable. Therefore, to further facilitate zero-resource AUD process, in this paper, we demonstrate acoustic feature representations can be significantly improved by (i) performing linear discriminant analysis (LDA) in an unsupervised self-trained fashion, and (ii) leveraging resources of other languages through building a multilingual bottleneck (BN) feature extractor to give effective cross-lingual generalization. Moreover, we perform comprehensive evaluations of AUD efficacy on multiple downstream speech applications, and their correlated performance suggests that AUD evaluations are feasible using different alternative language resources when only a subset of these evaluation resources can be available in typical zero resource applications.

연구 동기 및 목표

• 음성 전사 또는 언어학적 지식이 전혀 없는 0-자원 환경에서 음성 단위 발견(AUD)을 향상시키는 것.
• 첫 번째 단계의 AUD 토큰화 결과를 의사 레이블로 사용하여 자기지도 학습 선형 판별 분석(LDA)을 적용해 음성 특징의 분류 가능성을 향상시키는 것.
• TDNN에서 유도된 다국어 블로킹(BN) 특징을 활용하여 AUD에서의 다국어 일반화 능력을 향상시키는 것.
• 어휘 음소 전사가 제공되지 않을 경우, 보조 평가 자원(예: 단어 쌍, 주제 레이블)을 사용하여 AUD 성능을 검증하는 것.
• 내재적 AUD 평가 지표(NMI 등)가 실제 음성 응용에서의 외재적 성능과 상관이 있음을 보여주어, 0-자원 환경에서 실용적인 평가가 가능하게 하는 것.

제안 방법

• AUD에서 유도된 토큰화 결과를 의사 레이블로 사용하여 자기지도 학습 LDA를 적용해 음성 특징의 분류 가능성을 향상시키는 것.
• 다국어 시간 지연 신경망(TDNN)을 학습시켜 언어에 관계없이 적용 가능한 블로킹(BN) 특징을 추출하는 것.
• 발견된 HMM 상태 단위에 대해 후행 확률 특징(posteriorgram)을 생성하여 후행 작업을 위한 음성 단위 표현을 만드는 것.
• 같은/다른 단어 쌍 식별 작업에서 DTW 스코어링을 사용하고, 평균 정밀도(AP)로 성능을 측정하는 것.
• 발견된 음성 단위의 trigram 시퀀스를 사용해 문서 표현을 구성하고, TF-IDF 가중치와 L2 정규화를 적용하여 분류 작업을 수행하는 것.
• 비지도 음성 단위 시퀀스를 사용하여 문서 분류(10겹 교차 검증)와 군집화(purity 및 B-Cubed F1)를 평가하는 것.

실험 결과

연구 질문

• RQ1 실제 레이블이 전혀 없는 상황에서 자기지도 학습 LDA가 음성 단위 발견 성능을 향상시킬 수 있는가?
• RQ2 다국어 블로킹(BN) 특징 추출이 0-자원 AUD에서 다국어 일반화 능력을 향상시키는가?
• RQ3 음소 전사가 제공되지 않을 경우, 같은/다른 단어 쌍 식별 및 문서 분류와 같은 후행 음성 응용이 내재적 AUD 평가의 신뢰할 수 있는 대체 자원이 될 수 있는가?
• RQ4 후행 작업 성능 향상(예: AP, 분류 정확도)이 NMI와 같은 내재적 AUD 지표와 얼마나 상관이 있는가?
• RQ5 음성 단위 후행 확률과 trigram 표현이 0-자원 환경에서 문서 분류 및 군집화와 같은 분류 작업을 효과적으로 지원할 수 있는가?

주요 결과

• 자기지도 학습 LDA와 다국어 BN 특징을 융합하면 최상의 전체 AUD 성능을 기록하며, 이는 두 기법이 상호 보완적임을 보여준다.
• AUD 후행 확률 특징을 사용한 동일/다른 단어 쌍 식별 작업에서 개발 데이터에서 평균 정밀도(AP)가 0.247을 기록하여 원시 MFCC보다 유의미하게 높은 성능(0.208)을 보였다.
• 600차원의 HMM 상태 수준 후행 특징을 사용하면 AP가 0.267로 상승하여 더 높은 해상도의 표현이 분류 성능 향상에 기여함을 시사한다.
• LDA 및 BN 향상 특징을 사용한 AUD 기반 문서 분류에서 정확도가 73%에 도달하여 전사 데이터 없이도 효과적인 표현 학습이 가능함을 보여준다.
• 개발 데이터(0.571)에서 평가 데이터(0.558)로의 NMI 감소 폭이 미미하여 학습된 음성 단위의 강력한 일반화 능력을 입증한다.
• 문서 군집화 성능은 개발 데이터에서는 약간의 향상이 있었지만 평가 데이터에서는 추세가 유지되지 않아 AUD를 활용한 비지도 주제 모델링에 도전 과제가 있음을 시사한다.