[논문 리뷰] Topic Identification for Speech without ASR

Chunxi Liu, Jan Trmal외 3명|arXiv (Cornell University)|2017. 03. 22.

Speech Recognition and Synthesis참고 문헌 23인용 수 3

한 줄 요약

이 논문은 자동 음성 인식(ASR)이 필요 없이 저자원 환경에서 주제 식별을 가능하게 하기 위해 비지도 용어 발굴(UTD)과 음성 단위 발굴(AUD)을 활용한 비지도 음성 토큰화를 제안한다. CNN 기반 모델이 AUD에서 유도된 음소 유사 단위를 사용할 경우, 특히 충분한 데이터가 있을 경우 SVM 및 ASR 기반 기준선에 근접하거나 이를 능가하는 경쟁력 있는 성능을 보이며, 번역된 음성 자료나 언어별 모델에 의존하지 않는다는 점에서 뚜렷한 이점을 가진다.

ABSTRACT

Modern topic identification (topic ID) systems for speech use automatic speech recognition (ASR) to produce speech transcripts, and perform supervised classification on such ASR outputs. However, under resource-limited conditions, the manually transcribed speech required to develop standard ASR systems can be severely limited or unavailable. In this paper, we investigate alternative unsupervised solutions to obtaining tokenizations of speech in terms of a vocabulary of automatically discovered word-like or phoneme-like units, without depending on the supervised training of ASR systems. Moreover, using automatic phoneme-like tokenizations, we demonstrate that a convolutional neural network based framework for learning spoken document representations provides competitive performance compared to a standard bag-of-words representation, as evidenced by comprehensive topic ID evaluations on both single-label and multi-label classification tasks.

연구 동기 및 목표

• 번역된 데이터로 ASR를 훈련시킬 수 없는 저자원 음성 환경에서 주제 식별 문제를 해결한다.
• UTD 및 AUD와 같은 비지도 음성 토큰화 방법이 수동 번역 없이도 ASR를 대체할 수 있는지 조사한다.
• 기존의 단어집 기반 특징과 비교해 비지도 음성 단위 기반의 CNN 기반 표현의 효과성을 평가한다.
• 단일어휘 및 다중어휘 주제 분류 작업에서 단어2vec 사전학습 및 모델 아키텍처의 영향을 분석한다.
• UTD, AUD 및 ASR 기반 시스템의 성능을 단일라벨 및 다중라벨 주제 분류 작업에서 비교한다.

제안 방법

• 자연어 처리 툴킷인 Zero Resource Toolkit을 사용해 희소 음성 유사성 행렬과 빠른 DTW 기반 매칭을 통해 반복적인 단어 유사 단위를 식별하는 비지도 용어 발굴(UTD)을 적용한다.
• AUD 프레임워크에서 변동형 베이지안 추론을 사용해 비번역 음성에서 음소 유사 단위를 학습함으로써 언어에 종속되지 않는 음성 단위 발굴을 가능하게 한다.
• 다국어 블로킹 특징을 사전 훈련된 모델에서 추출해 UTD 및 AUD에 언어에 종속되지 않는 음성 표현을 제공한다.
• AUD에서 유도된 순차적 토큰화를 기반으로 컨볼루션 신경망(CNN)을 훈련시어 연속적이고 맥락 인식 가능한 구두 문서 표현을 학습한다.
• 특성 일반화를 향상시키기 위해 음성 단위 임베딩에 대해 word2vec 사전학습을 적용한다. 특히 저자원 환경에서의 성능 향상에 기여한다.
• 학습된 표현에 대해 SVM 및 CNN 분류기를 사용해 단일라벨 및 다중라벨 주제 분류를 수행하며, 평균 정밀도(AP)로 평가한다.

실험 결과

연구 질문

• RQ1 비지도 음성 단위 발굴(AUD)과 비지도 용어 발굴(UTD)이 번역된 자료 없이도 주제 식별을 위한 효과적인 음성 토큰화를 제공할 수 있는가?
• RQ2 CNN 기반 표현 학습 프레임워크는 기존의 단어집 기반 특징과 비교해 AUD에서 유도된 음소 유사 단위에서 어떻게 성능을 내는가?
• RQ3 음성 단위의 word2vec 사전학습이 저자원 환경에서 주제 식별 성능을 향상시키는가?
• RQ4 학습 데이터 크기에 따라 모델 성능이 어떻게 변하는가, 특히 CNN과 SVM 간의 성능 차이가 어떻게 달라지는가?
• RQ5 다양한 저자원 언어에서 UTD, AUD 및 ASR 기반 시스템의 주제 식별 정확도는 어떻게 비교되는가?

주요 결과

• LORELEI 터키어 데이터셋(도메인 내 16.5시간)에서 AUD 기반 CNN은 전체적으로 평균 정밀도(AP) 0.641, 도메인 내 주제에서는 0.564를 기록하며, UTD 및 SVM 기준선을 모두 능가했다.
• 우즈베크어(도메인 내 2.9시간) 및 중국어(도메인 내 7.7시간)와 같은 더 작은 코퍼스에서는 UTD 기반 SVM이 AUD 기반 SVM보다 성능이 뛰어나, 저자원 환경에서 UTD의 우수성을 보여주었다.
• 터키어 및 우즈베크어에서는 AUD 기반 CNN이 AUD 기반 SVM보다 성능이 뛰어났지만, 중국어에서는 성능이 열 劣하므로, CNN은 더 많은 데이터가 필요로 함을 시사한다.
• ASR 기반 시스템은 가장 강력한 기준선이었으며, 터키어에서는 전체적으로 AP 0.625, 중국어에서는 0.461를 기록했지만, 이는 번역된 데이터가 필요했다.
• AUD의 농도 파라미터 γ를 1.0에서 10.0으로 증가시켰더니 고유 단위 수가 184개에서 199개로 증가했고, 일반적으로 성능 향상이 관찰되었다.
• LORELEI에서 CNN과 SVM 간의 성능 격차는 Switchboard보다 작았으며, 이는 더 작은 LORELEI 데이터셋(15–60시간)이 CNN의 성능 향상 잠재력을 제한함을 시사한다.