[논문 리뷰] AP17-OLR Challenge: Data, Plan, and Baseline

Zhiyuan Tang, Dong Wang외 2명|arXiv (Cornell University)|2017. 06. 28.

Natural Language Processing Techniques참고 문헌 13인용 수 4

한 줄 요약

이 논문은 10개 언어(신규 추가된 우이구르어, 카자흐어, 티베트어 포함)를 포함한 다국어 음성 데이터셋을 제시하는 AP17-OLR 챌린지를 소개한다. 데이터셋은 짧은 발화(1~3초)에 초점을 맞추고 있다. 두 가지 기준 모델을 제안한다: i-vector 모델과 심층 신경망(DNNs), 여기서 DNNs는 TDNN, LSTM-RNN, 그리고 음소 특징을 사용하는 새로운 PTN-LID 모델을 포함한다. PTN-LID 모델은 짧은 발화에서 가장 뛰어난 성능을 보이며, 1초 발화에서 C_avg는 0.1516, EER은 8.15%를 기록한다. 이는 저자원, 짧은 시퀀스 언어 식별에 DNN의 효과를 입증한다.

ABSTRACT

We present the data profile and the evaluation plan of the second oriental language recognition (OLR) challenge AP17-OLR. Compared to the event last year (AP16-OLR), the new challenge involves more languages and focuses more on short utterances. The data is offered by SpeechOcean and the NSFC M2ASR project. Two types of baselines are constructed to assist the participants, one is based on the i-vector model and the other is based on various neural networks. We report the baseline results evaluated with various metrics defined by the AP17-OLR evaluation plan and demonstrate that the combined database is a reasonable data resource for multilingual research. All the data is free for participants, and the Kaldi recipes for the baselines have been published online.

연구 동기 및 목표

• 실제 다국어 상호작용에서 흔한 저자원, 짧은 발화 시나리오에서의 다국어 음성 인식 기술을 향상시키기 위해.
• 기존 i-vector 모델이 짧은 시퀀스 언어 식별에서 한계를 보이는 점을 보완하고, 심층 신경망 기반 접근법을 촉진하기 위해.
• 연구 공동체가 사용할 수 있는 표준화된 벤치마크를 제공하기 위해 다양한 공개 데이터와 재현 가능한 기준 모델을 함께 제공하기 위해.
• 우이구르어, 카자흐어, 티베트어를 포함한 다국어 동양어 언어에 대한 언어 식별 기술 혁신을 촉진하기 위해.
• 코드 스위칭 음성 인식 및 다국어 음성 처리와 같은 실용적 응용을 지원하기 위해.

제안 방법

• 챌린지는 NSFC M2ASR 프로젝트와 清华大学의 THCHS30 데이터셋을 조합하여 구성되었으며, 모바일 채널 녹음에서 남성과 여성의 균형 잡힌 발화자 10개 언어를 포함한다.
• 두 가지 기준 시스템을 구현하였다: 60차원 MFCC 특징을 사용하는 i-vector 시스템(학습 단계에서 LDA 및 SVM 점수 계산)과 원시 40차원 필터뱅크 특징을 사용하는 DNN 기반 시스템.
• DNN 기준 시스템은 6개의 은닉층과 p-노름 활성화를 갖는 TDNN, 1024개의 뉴런을 갖는 LSTM-RNN, 그리고 사전 학습된 음소 모델을 통한 특징 추출을 통합한 PTN-LID 모델을 포함한다.
• PTN-LID 모델은 THCHS30에서 학습된 TDNN 기반 음소 모델을 사용해 음소 특징을 생성하고, 이를 RNN-LID 모델에 입력하여 언어 분류를 수행한다.
• 모든 시스템은 Kaldi를 사용해 학습 및 평가되었으며, 성능은 1초, 3초, 전체 길이의 발화에서 C_avg와 EER로 측정되었다.
• 개발 세트는 초모수 조정에 사용되었고, 학습 데이터에는 개발 데이터가 포함되어서는 안 되어 데이터 泄露를 방지하였다.

실험 결과

연구 질문

• RQ1 다국어 환경에서 전통적인 i-vector 모델은 짧은 발화(1~3초)에서 어떤 성능을 보이는가?
• RQ2 TDNN, LSTM-RNN, PTN-LID와 같은 심층 신경망 아키텍처는 i-vector 시스템보다 짧은 발화 언어 식별에서 더 뛰어난 성능을 보일 수 있는가?
• RQ3 다국어 음소 모델을 통한 음소 특징 통합이 짧은 발화에서 언어 식별 정확도에 얼마나 기여하는가?
• RQ4 다양한 발화 길이에서 서로 다른 DNN 아키텍처는 C_avg와 EER 측면에서 어떻게 비교되는가?
• RQ5 통합된 AP17-OLR 데이터셋은 다국어 음성 연구에 적합하고 대표적인 기준으로서 적절한가?

주요 결과

• i-vector 시스템은 1초 발화에서 C_avg 0.1930, EER 19.18%를 기록하여 긴 세그먼트에서는 강력한 성능를 보였지만, 짧은 세그먼트에서는 성능 저하가 발생했다.
• TDNN-LID 기준 시스템은 1초 발화에서 C_avg 0.1920, EER 19.14%를 기록하여 강건성을 보였지만, 짧은 입력에서는 성능 향상이 제한적이었다.
• LSTM-LID 모델은 1초 발화에서 C_avg 0.1773, EER 18.90%를 기록하여 i-vector 및 TDNN보다 짧은 세그먼트에서 뛰어난 성능을 보였다.
• PTN-LID 모델은 1초 발화에서 C_avg 0.1516, EER 8.15%를 기록하여 가장 뛰어난 성능을 보였으며, 음소 인식 특징 학습의 이점을 입증했다.
• 3초 발화에서는 PTN-LID 모델이 C_avg 0.1571, EER 8.24%를 기록하여 다른 기준 시스템보다 일관되게 뛰어난 성능을 보였다.
• 통합된 AP17-OLR 데이터셋은 다국어 음성 연구, 특히 짧은 시퀀스 언어 식별에 있어 합리적이고 대표적인 자원으로 확인되었다.