[논문 리뷰] Tools and resources for Romanian text-to-speech and speech-to-text applications

Tiberiu Boroş, Ștefan Daniel Dumitrescu외 1명|arXiv (Cornell University)|2018. 02. 15.

Natural Language Processing Techniques참고 문헌 10인용 수 7

한 줄 요약

이 논문은 저자원 환경을 위한 스케일러블하고 다국어 NLP 및 텍스트-to-음성(TTS) 도구 모음과 새로 촬영한 루마니아어 음성 코퍼스를 제안한다. NLP에는 决정 트리, 선형 모델, 양방향 LSTMs를 통합하였고, 경량 음성 인식 시스템에서 문자 수준 정확도가 89.52%에 도달하여, 루마니아어의 ASR 및 TTS 개발에 코퍼스의 타당성을 입증한다.

ABSTRACT

In this paper we introduce a set of resources and tools aimed at providing support for natural language processing, text-to-speech synthesis and speech recognition for Romanian. While the tools are general purpose and can be used for any language (we successfully trained our system for more than 50 languages and participated in the Universal Dependencies Shared Task), the resources are only relevant for Romanian language processing.

연구 동기 및 목표

• 저자원 환경, 특히 모바일 및 임베디드 시스템을 위한 스케일러블하고 경량의 NLP 및 TTS 도구 모음 개발
• 자연어 처리 및 음성 인식에 적합한 고품질의 종합적인 루마니아어 음성 코퍼스 구축 — 자유 이용 및 라이선스 제한이 있는 자료를 결합하고, 음소 및 텍스트 정렬 정보를 포함
• 동일한 프레임워크를 사용하여 50개 이상의 언어에서의 다국어 NLP 및 TTS 학습 지원
• 대화 스타일의 문장으로 코퍼스를 확장하여 대화형 응용 프로그램에서 음성의 자연스러운 유창성을 향상시켜 TTS 품질 향상
• NLP 및 TTS용 사전 학습 모델을 사전에 학습하고 공개하여, 루마니아어 NLP 및 음성 기술 분야의 진입 장벽을 낮추기

제안 방법

• MLPLA 아키텍처는 플러그 앤 플레이 설계를 사용하며, 데이터 입력 프로세서, 기본 프로세서, 출력 프로세서의 세 가지 인터페이스를 제공하여 모듈식 NLP 파이프라인 구축 가능
• 세 가지 기계 학습 접근 방식을 지원: 결정 트리(낮은 메모리 사용, 로그 복잡도), 선형 모델(높은 특징 공학, 선형 복잡도), 양방향 LSTMs(자동 특징 학습, 높은 계산 부담)
• 문자 수준 음성 인식 시스템은 멜-일반화된 서큘라 계수, 이중 방향 LSTMs(800개의 뉴런), 그리고 연결 기반 시간 분류(CTC) 손실을 사용하여 엔드 투 엔드 학습 수행
• 음성 코퍼스는 위키백과, 오디오북, 루마니아 익명 음성 코퍼스(RASC)의 정렬된 오디오 및 텍스트를 포함하며, 음소 및 텍스트 정렬 정보가 포함됨
• 제한된 오디오에 간접적으로 접근하기 위해 COROLA Oral Corpus Query Platform(OCQP)을 활용하며, 정렬된 데이터를 다리로 사용
• NLP 및 TTS 모델에 대해 사전 학습 및 미세 조정 전략을 제안하고, Universal Dependencies 언어들에 대한 사전 학습 모델 공개 계획 수립

실험 결과

연구 질문

• RQ1 다국어를 지원하는 경량이고 모듈식 NLP 및 TTS 도구 모음은 저자원 및 모바일 환경에 효과적으로 구현될 수 있는가?
• RQ2 최근 제작된 루마니아어 음성 코퍼스는 엔드 투 엔드 자동 음성 인식 시스템 학습에 얼마나 효과적인가?
• RQ3 작고 효율적인 아키텍처를 사용해도, 루마니아어와 같은 저자원 언어에서 문자 수준 ASR 시스템이 높은 정확도를 달성할 수 있는가?
• RQ4 현재 TTS 코퍼스는 대화형 상호작용에서 자연스러운 유창성을 얼마나 잘 지원하는가? 그리고 어떻게 향상시킬 수 있는가?
• RQ5 사전 학습 모델은 저자원 환경에서 NLP 및 TTS 시스템의 학습 부담을 얼마나 줄이는가?

주요 결과

• 전체 학습 데이터셋에서 단 4개의 학습 에포크 후 문자 수준 음성 인식 시스템이 89.52%의 정확도를 달성하여, 코퍼스가 ASR 학습에 적합함을 입증함
• NLP 도구 모음은 50개 이상의 언어에서의 학습을 성공적으로 지원하여 다국어 확장성과 일반 목적용도의 유용성을 확인함
• 음성 아티팩트, 지역 방언, 외래어 등을 고려한 정밀한 주석 처리된 데이터를 포함하여, 텍스트 변환의 강건성을 향상시킴
• 현재 코퍼스에 짧고 대화형 문장이 부족하여 TTS 시스템이 대화 상황에서 자연스럽지 못한 유창성을 보이며 핵심 한계점으로 드러남
• 특히 저자원 언어에서의 재학습 필요성을 줄이기 위해 사전 학습 모델의 공개 계획 수립됨
• 모바일 기기(안드로이드 5 및 6)에서도 배포 가능하여, 실시간 및 저전력 응용 프로그램에 적합한 효율성과 적합성을 확인함