[논문 리뷰] A small Griko-Italian speech translation corpus

Marcely Zanon Boito, Antonios Anastasopoulos외 3명|White Rose Research Online (University of Leeds, The University of Sheffield, University of York)|2018. 07. 27.

Natural Language Processing Techniques참고 문헌 50인용 수 5

한 줄 요약

이 논문은 330개의 발화를 포함하여 공개 가능한 소규모 그리코-이タ리아어 음성 번역 코퍼스를 제시한다. 이 코퍼스에는 음성, 발화의 철자화, 이탈리아어 번역, 단어 수준의 정렬, 형태구문 태그, 어휘 해설, 그리고 자동으로 유도된 가짜 음소가 포함되어 있다. 단일 언어 및 双어 언어 방법을 사용하여 음성에서 번역으로의 정렬 및 무단어 발견의 기준 성능을 시현하였으며, 그래프음소 수준의 분할에서 75.10%의 재현율을 달성하여 극도로 자원이 부족한 환경에서의 단어 발견 과제의 과도함을 드러냈다.

ABSTRACT

This paper presents an extension to a very low-resource parallel corpus collected in an endangered language, Griko, making it useful for computational research. The corpus consists of 330 utterances (about 20 minutes of speech) which have been transcribed and translated in Italian, with annotations for word-level speech-to-transcription and speech-to-translation alignments. The corpus also includes morphosyntactic tags and word-level glosses. Applying an automatic unit discovery method, pseudo-phones were also generated. We detail how the corpus was collected, cleaned and processed, and we illustrate its use on zero-resource tasks by presenting some baseline results for the task of speech-to-translation alignment and unsupervised word discovery. The dataset is available online, aiming to encourage replicability and diversity in computational language documentation experiments.

연구 동기 및 목표

• 침체된 그릭오어 언어를 위한 다중 수준 주석 처리된 공개 코퍼스를 구축하여 계산 기반 언어 기록을 지원한다.
• 특히 극도의 자원 부족 상황에서 저자원 음성 및 NLP 기법의 재현 가능한 평가를 가능하게 한다.
• 진정으로 멸종 위기에 처한 언어에서 음성에서 번역으로의 정렬 및 무단어 발견을 위한 기준 성능 결과를 제공한다.
• 공유된 데이터와 표준화된 평가 지표를 통해 공동체 기반의 방법 개선을 장려한다.
• 다국어 감독(이탈리아어 번역)을 활용하여 저자원 환경에서의 단어 발견 성능 향상 가능성을 입증한다.

제안 방법

• 그리코어 음성 330건과 해당하는 이탈리아어 번역을 수집하였으며, 단어 수준에서 철자화 및 정렬을 수행하였다.
• 언어학적 분석을 지원하기 위해 형태구문 태그와 단어 수준의 어휘 해설을 코퍼스에 주석 처리하였다.
• 원시 음성 신호에서 가짜 음소를 자동으로 유도하는 방법을 적용하였다.
• 소프트 어텐션 행렬을 사용한 신경 기계 번역(NMT) 모델을 활용하여 음성에서 번역으로의 정렬을 수행하였고, 이후 하드 분할 경계를 추출하기 위해 후처리를 실시하였다.
• 이웃 평균화 및 온도 스케일링(T=1)을 통한 정렬 스무딩을 적용하여 어텐션 기반 분할의 안정성을 향상시켰다.
• 그래프음소 및 가짜 음소 표현 방식에서 모두 Zero Resource Challenge 2017 경계 지표(F-점수, 정밀도, 재현율)를 사용하여 단어 발견 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 다국어 주석이 포함된 소규모 저자원 음성 번역 코퍼스는 멸종 위기의 언어에서 효과적인 무단어 발견을 가능하게 하는가?
• RQ2 이탈리아어 번역의 다국어 감독은 단일 언어 접근에 비해 단어 분할 성능을 얼마나 향상시키는가?
• RQ3 극도로 저자원 환경에서 그래프음소 대비 가짜 음소를 사용할 경우 단어 발견 성능에 어떤 영향을 미치는가?
• RQ4 이 코퍼스에서 단일 언어(dpseg), 비율 기반, 신경 기반 방법 간의 분할 정확도를 비교할 경우 각 방법은 어떻게 상호 비교되는가?
• RQ5 정렬 스무딩 및 모델 평균화가 저자원 환경에서 신경 기반 단어 분할의 안정성과 성능 향상에 얼마나 기여하는가?

주요 결과

• 단일 언어 dpseg 모델은 그래프음소 수준의 단어 분할에서 75.10%의 재현율을 달성하여 극도의 저자원 조건에서도 뛰어난 성능을 보였다.
• 통합된 신경 기반 분할 기준 모델은 그래프음소 수준의 분할에서 다른 이중 언어 방법보다 뛰어난 성능을 보였으며, 신경 기반 접근 방식 중에서 가장 높은 F-점수를 기록하였다.
• 모든 방법에서 가짜 음소 표현에서 성능이 크게 저하되었으며, F-점수는 낮은 수준을 유지하여 단위 유도에서 노이즈 전파 문제를 확인하였다.
• dpseg 모델은 가짜 음소에서 과다 분할을 보였으며, 다른 방법들보다 문장당 토큰 수가 더 많았다.
• 신경 기반 분할 방법은 가짜 음소에서 dpseg보다 더 적은 분할 수를 생성하여 노이즈가 많은 표현에서 과소 분할 경향을 보였다.
• 결과적으로, 특히 자동으로 도출된 가짜 음소를 사용할 경우 매우 저자원 환경에서의 무단어 발견 과제의 어려움이 재확인되었다.