[논문 리뷰] Unsupervised Word Segmentation from Speech with Attention

Pierre Godard, Marcely Zanon-Boito외 5명|arXiv (Cornell University)|2018. 06. 18.

Speech Recognition and Synthesis참고 문헌 37인용 수 14

한 줄 요약

이 논문은 저자원, 문법이 없는 언어에서 원시 음성 자료로부터 비지도 학습을 통해 어절 분할을 수행하기 위한 주의 기반 신경 기계 번역 방법을 제안한다. 이는 双어 번역 정렬을 활용한다. 먼저 청각 단위 발견(ACOUSTIC UNIT DISCOVERY, AUD)을 적용하여 음성을 가짜 음소로 변환한 후, 인코더-디코더 모델 내 주의 메커니즘을 활용해 이러한 가짜 음소를 번역된 텍스트와 정렬한다. 이 방법은 Mboshi 코퍼스에서 어절 경계 F-측도 50.0%를 달성하여 단어 기반 기준보다 유의하게 높은 성능을 보이며, 이 데이터셋에 대해 현재까지 보고된 바 중 최고 성능이다.

ABSTRACT

We present a first attempt to perform attentional word segmentation directly from the speech signal, with the final goal to automatically identify lexical units in a low-resource, unwritten language (UL). Our methodology assumes a pairing between recordings in the UL with translations in a well-resourced language. It uses Acoustic Unit Discovery (AUD) to convert speech into a sequence of pseudo-phones that is segmented using neural soft-alignments produced by a neural machine translation model. Evaluation uses an actual Bantu UL, Mboshi; comparisons to monolingual and bilingual baselines illustrate the potential of attentional word segmentation for language documentation.

연구 동기 및 목표

• 자료나 발음 자료가 전혀 없는 저자원, 문법이 없는 언어(ULs)에서 비지도 어절 분할 문제를 해결하기 위해.
• 이중어 문장 수준의 번역이 원시 음성에서의 어절 분할 향상에 약한 지도 신호로 기능할 수 있는지 조사하기 위해.
• 청각 단위 발견(AUD)과 주의 기반 신경 기계 번역을 조합한 이중 단계 파ip라인을 개발하기 위해.
• Mboshi 언어 코퍼스를 활용해 실제 세계의 언어 기록 시나리오에서 방법의 성능을 평가하기 위해.

제안 방법

• 원시 음성을 시간 마킹된 가짜 음소 시퀀스로 변환하기 위해 베이지안 모델(HMM, SVAE, MBN)을 사용해 청각 단위 발견(AUD)을 적용한다.
• 풍부한 자원을 가진 언어(WRL) 문장을 UL의 가짜 음소 시퀀스로 번역하기 위해 신경 기계 번역(NMT) 인코더-디코더 모델을 사용한다.
• 지식 기반 번역을 사용해 NMT 모델을 훈련시키며, 디코더의 은닉 상태와 주의 메커니즘을 활용해 WRL 단어와 UL 가짜 음소 간의 소프트 정렬을 계산한다.
• 연속된 가짜 음소 사이에서 주의 값이 급격히 변화하는 전이 지점을 식별해 어절 경계를 추출한다.
• 주의 행렬을 후처리하여 인접한 단위 간에 주의가 크게 이동하는 지점을 경계로 탐지한다.
• 어절 경계 검출의 F-측도를 사용해 성능을 평가하며, 다양한 AUD 출력과 기준 모델을 비교한다.

실험 결과

연구 질문

• RQ1 신경 기계 번역 모델 내 주의 메커니즘이 음성-번역 정렬 데이터로 훈련된 후, 문법이 없는 언어에서 어절 경계를 효과적으로 식별할 수 있는가?
• RQ2 청각 단위 발견(AUD) 출력의 품질이 후속 어절 분할 성능에 어떤 영향을 미치는가?
• RQ3 이중어 문장 수준의 번역을 약한 지도 신호로 사용할 경우, 단어 기반 접근보다 원시 음성에서의 어절 분할 성능이 향상되는가?
• RQ4 이와 같은 작업에서 진정한 음소 시퀀스를 사용한 분할 성능와 가짜 음소 시퀀스를 사용한 분할 성능는 어떻게 비교되는가?
• RQ5 다양한 AUD 아키텍처(HMM, SVAE, MBN)가 최종 어절 분할 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 MBN SVAE 기반 가짜 음소를 사용해 음성에서 어절 분할을 수행할 때 어절 경계 F-측도 50.0%를 달성하며, 단어 기반 기준보다 뚜렷하게 높은 성능을 보였다.
• 진짜 음소 기반 분할은 F-측도 61.0%를 기록하여 AUD가 성능에 영향을 주는 노이즈를 유발함을 시사한다.
• MBN SVAE AUD 방법은 평균 문장당 23.4개의 더 간결하고 정확한 가짜 음소 시퀀스를 생성했으며, HMM(32.1개 평균)보다 우수한 성능 기여를 하였다.
• 평균 주의 행렬을 사용할 경우, 주의 기반 접근은 기준 모델 대비 약 0.8% 향상된 성능을 보이며 뛰어난 안정성을 입증하였다.
• 가짜 음소 기반 어휘 복원률은 13.5%로 진짜 음소 기반(34.3%)보다 유의미하게 낮아, 음성 세그먼트를 올바른 어휘 유형으로 군집화하는 데 어려움이 있음을 보여준다.
• 이 방법은 음성에서의 비지도 어절 분할에 있어 Mboshi5k 코퍼스에서 현재까지 보고된 바 중 최고 성능을 기록하였다.