[논문 리뷰] Can phones, syllables, and words emerge as side-products of cross-situational audiovisual learning? -- A computational investigation

Khazar Khorrami, Okko Räsänen|arXiv (Cornell University)|2021. 09. 29.

Multisensory perception and integration참고 문헌 93인용 수 5

한 줄 요약

이 계산적 연구는 음성(음소), 음절 및 어휘(단어) 단위가 명시적 지도나 언어적 사전 지식 없이 교차 상황 청각 학습 중에 잠재적 표현으로 나타날 수 있는지 조사한다. 합성 및 실제 음성과 시각적 입력을 함께 학습시킨 딥 네ural 네트워크를 사용하여, 저자들은 이러한 언어 단위가 학습된 표현에서 자발적으로 나타남을 입증하며 잠재 언어 가설(LLH)을 지지한다.

ABSTRACT

Decades of research has studied how language learning infants learn to discriminate speech sounds, segment words, and associate words with their meanings. While gradual development of such capabilities is unquestionable, the exact nature of these skills and the underlying mental representations yet remains unclear. In parallel, computational studies have shown that basic comprehension of speech can be achieved by statistical learning between speech and concurrent referentially ambiguous visual input. These models can operate without prior linguistic knowledge such as representations of linguistic units, and without learning mechanisms specifically targeted at such units. This has raised the question of to what extent knowledge of linguistic units, such as phone(me)s, syllables, and words, could actually emerge as latent representations supporting the translation between speech and representations in other modalities, and without the units being proximal learning targets for the learner. In this study, we formulate this idea as the so-called latent language hypothesis (LLH), connecting linguistic representation learning to general predictive processing within and across sensory modalities. We review the extent that the audiovisual aspect of LLH is supported by the existing computational studies. We then explore LLH further in extensive learning simulations with different neural network models for audiovisual cross-situational learning, and comparing learning from both synthetic and real speech data. We investigate whether the latent representations learned by the networks reflect phonetic, syllabic, or lexical structure of input speech by utilizing an array of complementary evaluation metrics related to linguistic selectivity and temporal characteristics of the representations. As a result, we find that representations associated...

연구 동기 및 목표

• 청각 교차 상황 학습 중에 명시적 언어 지도 없이 음성, 음절, 어휘 단위가 잠재적 표현으로 나타날 수 있는지 조사하기 위해.
• 청각 통계적 학습이 그것들에 대해 명시적으로 훈련되지 않은 상태에서도 체계적인 언어 표현을 유도할 수 있는 정도 평가하기 위해.
• 합성 및 실제 음성 데이터를 사용하여 계산 모델에서 잠재 언어 가설(LLH)의 타당성 테스트하기 위해.
• 다양한 상호 보완적 평가 지표를 통해 학습된 표현이 알려진 언어적 구조를 반영하는지 평가하기 위해.
• 합성 음성과 실제 음성 간의 다양한 신경망 아키텍처와 데이터 유형 간에 언어 단위의 출현 비교하기 위해.

제안 방법

• 말소리 입력과 참조적으로 모호한 시각적 자극이 짝지어진 교차 상황 청각 학습 작업에 대해 딥 네럴 네트워크를 훈련시키기 위해.
• 통제된 음소 및 어휘적 구조를 가진 합성 음성과 실제 인간의 음성 녹음본을 모두 사용하여 데이터 유형 간의 강건성 평가하기 위해.
• 학습된 특징의 언어적 선택성과 시간적 구조를 탐색하기 위해 표현 분석 기법을 사용하기 위해.
• 음소, 음절, 어휘 조직에 민감한 평가 지표를 적용하여 군집화 및 시간적 일관성 평가 수행하기 위해.
• 학습된 표현 간의 일반화 정도 평가를 위해 다양한 네트워크 아키텍처 간 비교 수행하기 위해.
• 명시적 언어 레이블 없이도 분리되고 의미 있는 표현을 유도하기 위해 대비 및 자기지도 학습 목표 활용하기 위해.

실험 결과

연구 질문

• RQ1 명시적으로 훈련되지 않은 상태에서 청각 교차 상황 학습 중에 음소 단위가 잠재 표현으로 나타날 수 있는가?
• RQ2 학습된 청각 모델의 표현에서 음절 구조는 어느 정도 반영되는가?
• RQ3 단어 수준의 지도 없이도 청각 학습의 부산물로 어휘 수준의 단위가 자발적으로 형성되는가?
• RQ4 합성 음성과 실제 음성 데이터 간에 출현하는 언어 표현은 어떻게 비교되는가?
• RQ5 다른 신경망 아키텍처는 학습된 표현에서 동일한 수준의 언어적 구조를 유도하는가?

주요 결과

• 청각 신경망의 잠재 표현은 음소 단위에 대해 강한 선택성을 보이며, 이는 음소가 교차 상황 학습의 부산물로 나타남을 시사한다.
• 학습된 표현의 시간적 동역학과 군집화에 음절 구조가 반영되어 있음을 확인하여 자발적인 음절 수준의 조직이 존재함을 시사한다.
• 단어 구조가 있는 입력으로 훈련된 경우, 명시적인 단어 경계나 레이블 없이도 어휘 수준의 단위가 표현에 자발적으로 형성된다.
• 통제된 음운 및 어휘적 구조를 가진 합성 음성으로 훈련된 모델에서 언어적 구조의 출현이 더 두드러지게 나타난다.
• 실제 음성으로부터 학습된 표현은 여전히 상당한 언어적 선택성을 보이지만, 합성 데이터에 비해 덜 두드러지므로 다양한 데이터 유형 간 강건성을 시사한다.
• 다양한 신경망 아키텍처가 표현에서 정성적으로 유사한 언어적 구조를 생성하여 잠재 언어 가설의 일반화 가능성을 지지한다.