[논문 리뷰] Rediscovering the Slavic Continuum in Representations Emerging from Neural Models of Spoken Language Identification

Badr M. Abdullah, Jacek Kudera외 3명|arXiv (Cornell University)|2020. 10. 22.

Speech Recognition and Synthesis참고 문헌 31인용 수 7

한 줄 요약

이 논문은 도메인-역행적 훈련을 통합하여 다양한 기록 조건에서의 강건성을 향상시킨 11개의 슬라브어를 대상으로 하는 컨volutional 신경망(CNN) 기반의 구어 언어 식별(LID) 모델을 제안한다. 연구는 모델에서 유도된 표현을 분석하여 청각적 혼동 가능성(대부분의 언어 게임에서의 인간 혼동 패턴을 기반으로 측정됨)이 언어 표현 유사도를 가장 잘 예측하며, 계통발생적 거리 및 지리적 거리 측정법을 모두 능가함을 발견한다.

ABSTRACT

Deep neural networks have been employed for various spoken language recognition tasks, including tasks that are multilingual by definition such as spoken language identification. In this paper, we present a neural model for Slavic language identification in speech signals and analyze its emergent representations to investigate whether they reflect objective measures of language relatedness and/or non-linguists' perception of language similarity. While our analysis shows that the language representation space indeed captures language relatedness to a great extent, we find perceptual confusability between languages in our study to be the best predictor of the language representation similarity.

연구 동기 및 목표

• 다양한 기록 조건에서 일반화 가능한 슬라브어를 위한 강건한 신경망 기반 LID 모델을 개발하는 것.
• 신경망 LID 모델에서 유도된 표현이 유전적 관련성 및 지리적 근접성과 같은 객관적 언어 거리 측정법을 반영하는지 조사하는 것.
• 비언어학자들이 언어 유사도를 어떻게 인식하는지(청각적 혼동 가능성)가 학습된 표현 공간 내 기하학적 거리에 얼마나 잘 예측되는지 평가하는 것.
• 학습된 표현 공간의 구조를 기존의 언어 그룹화와 인간의 혼동 패턴(대부분의 언어 게임에서의 결과)과 비교하는 것.

제안 방법

• 11개의 슬라브어에서의 구어 언어 식별을 위해 원시 음성 특징에 기반한 컨volutional 신경망(CNN)을 훈련하는 것.
• 비언어적 변동성(예: 기록 조건)에 대한 민감도를 줄이고 데이터셋 간 일반화를 향상시키기 위해 도메인-역행적 훈련을 적용하는 것.
• 훈련된 모델의 최종 은닉층에서 각 언어에 대해 고수준 언어 표현을 추출하는 것.
• 언어 프로토타입(평균 임베딩) 간 코사인 유사도를 계산하여 표현 거리의 정도를 정량화하는 것.
• 표현 거리에서 계층적 군집 트리를 생성하고, 계통발생적, 지리적, 청각적 유사성 트리와 비교하는 것.
• 시각화 기법을 사용하여 모델이 훈련 중에 보지 못한(미리보지 않은) 언어를 표현 공간 내 적절한 하위군집에 투영할 수 있는지 평가하는 것.

실험 결과

연구 질문

• RQ1 신경망 기반 LID 모델에서 유도된 표현이 계통발생적 관련성 및 지리적 근접성과 같은 객관적 언어 거리 측정법을 어느 정도 반영하는가?
• RQ2 학습된 표현 공간 내 기하학적 거리가 비언어학자들이 슬라브어 간에 느끼는 청각적 혼동 가능성(Perceptual Confusability)을 얼마나 잘 예측하는가?
• RQ3 모델은 훈련 중에 보지 못한 슬라브어 언어에 대해 일반화할 수 있는가? 그리고 이들 언어를 의미적으로 일관된 하위군집에 투영하는가?
• RQ4 표현 거리에서 유도된 계층적 구조는 기존의 언어 그룹화와 인간의 혼동 패턴과 어떻게 비교되는가?

주요 결과

• 도메인-역행적 훈련을 통합한 신경망 LID 모델은 기록 조건이 다양한 데이터셋 간에서 일반화 능력이 크게 향상된다.
• 모델의 임베딩 공간 내 표현 거리가 슬라브어 공동체 간의 지리적 거리와 높은 정적 상관관계를 보인다.
• 역사적 음운학적 데이터가 없음에도 불구하고, 모델의 표현 공간은 계통발생적 관계를 포착하여 기존의 슬라브어 계통수를 근사하는 트리를 생성한다.
• 청각적 혼동 가능성(대부분의 언어 게임에서의 인간 혼동 패턴을 기반으로 함)이 표현 유사도를 가장 강력하게 예측하며, 지리적 거리 및 계통발생적 거리 측정법을 모두 능가한다.
• 표현 거리에서 유도된 계층적 군집은 대부분의 언어 게임에서의 슬라브어 하위트리와 유사하게 나타나며, 특히 서슬라브어와 동슬라브어를 먼저 묶고, 그 다음 남슬라브어와 융합시키며, 불가리아어는 동슬라브어와, 슬로바키아어는 남슬라브어와 함께 묶는 경향을 보인다.
• 시각화 결과는 모델이 훈련 중에 보지 못한 슬라브어 언어를 정확한 하위군집 공간에 투영할 수 있음을 확인하며, 뛰어난 일반화 능력을 보임.