[논문 리뷰] Local and non-local dependency learning and emergence of rule-like representations in speech data by Deep Convolutional Generative Adversarial Networks

Gašper Beguš|arXiv (Cornell University)|2020. 09. 26.

Phonetics and Phonology Research참고 문헌 60인용 수 13

한 줄 요약

이 논문은 깊이 있는 컨volutional 생성적 적대 신경망(GAN)이 음성 데이터에서 국소적이고 비국소적 음운론적 과정을 학습할 수 있음을 보여주며, 잠재 변수 간의 상호작용을 통해 규칙 유사한 형태의 음운론적 일반화가 나타남을 밝힌다. 주요 발견은 비국소적 과정, 예를 들어 고음 조화와 같은 과정이 국소적 과정보다 확률적으로, 그리고 덜 신뢰성 있게 학습된다는 점이며, 이는 인간의 학습 편향과 국소성에 대한 유형학적 선호와 일치한다.

ABSTRACT

This paper argues that training GANs on local and non-local dependencies in speech data offers insights into how deep neural networks discretize continuous data and how symbolic-like rule-based morphophonological processes emerge in a deep convolutional architecture. Acquisition of speech has recently been modeled as a dependency between latent space and data generated by GANs in Begu\v{s} (2020b; arXiv:2006.03965), who models learning of a simple local allophonic distribution. We extend this approach to test learning of local and non-local phonological processes that include approximations of morphological processes. We further parallel outputs of the model to results of a behavioral experiment where human subjects are trained on the data used for training the GAN network. Four main conclusions emerge: (i) the networks provide useful information for computational models of speech acquisition even if trained on a comparatively small dataset of an artificial grammar learning experiment; (ii) local processes are easier to learn than non-local processes, which matches both behavioral data in human subjects and typology in the world's languages. This paper also proposes (iii) how we can actively observe the network's progress in learning and explore the effect of training steps on learning representations by keeping latent space constant across different training steps. Finally, this paper shows that (iv) the network learns to encode the presence of a prefix with a single latent variable; by interpolating this variable, we can actively observe the operation of a non-local phonological process. The proposed technique for retrieving learning representations has general implications for our understanding of how GANs discretize continuous speech data and suggests that rule-like generalizations in the training data are represented as an interaction between variables in the network's latent space.

연구 동기 및 목표

• . 이 논문은 깊이 있는 신경망이 원시 음성 데이터에서 음운론적 의존성을 어떻게 학습하는지 탐구한다.
• 이러한 연결주의 아키텍처, 예를 들어 GAN과 같은 것들에서 규칙 유사, 기호 유사 표현의 출현을 모델링하고자 한다.
• 인공 문법 학습 실험에서의 인간 행동 데이터와 계산 모델 성능을 비교한다.
• 학습 단계 동안 잠재 공간 조작을 통해 학습 진행 상황을 추적할 수 있는 해석 가능성 기법을 탐색한다.
• 비국소적 과정, 예를 들어 고음 조화와 같은 과정이 깊이 있는 네트워크에 의해 학습될 수 있는지, 그리고 정확도와 학습 편향 측면에서 국소적 과정과 어떻게 비교되는지 테스트한다.

제안 방법

• . 연구는 국소적 이형음 변형과 비국소적 고음 조화를 포함한 통제된 음운론적 패턴을 가진 합성 음성 데이터에 대해 훈련된 깊이 있는 컨volutional GAN을 사용한다.
• 잠재 공간 변수를 식별하고 조작하여 특정 음운론적 특징과 과정을 생성하는 데서의 역할을 탐구한다.
• 특정 잠재 변수(예: z17)의 선형 보간을 사용하여 분극성 노이즈나 고음 뒤쪽성 등 청각적 특징의 점진적 변화를 관찰한다.
• 모델은 인간 행동 데이터와 직접 비교할 수 있도록 인공 문법 학습 실험을 시뮬레이션하는 소규모 인위적 데이터셋에 대해 훈련된다.
• 성능 향상 과정을 높은 성능에 도달하기 전의 단계에서 여러 단계에 걸쳐 분석하여 시간에 따라 표현의 출현을 관찰한다.
• 통계 분석을 통해 국소적 과정과 비국소적 과정 간의 오류율을 비교하고, 고음 조화 과제에서 조화를 이룬 출력과 이룬 출력이 아닌 출력의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 . 깊이 있는 컨volutional GAN은 원시 음성 데이터에서 국소적 음운론적 과정, 예를 들어 탈음성과 무성화와 같은 과정을 학습할 수 있는가?
• RQ2 . GAN은 비국소적 형태음운론적 과정, 예를 들어 고음 조화와 같은 과정도 학습할 수 있으며, 만약 그렇다면 얼마나 신뢰성 있게 학습하는가?
• RQ3 . 국소적 과정과 비국소적 과정의 학습 역학은 오류율과 수렴 정도 측면에서 어떻게 비교되는가?
• RQ4 . 모델의 표현과 행동이 인공 문법 학습 실험에서 관찰된 인간 피실험자와 얼마나 유사한가?
• RQ5 . 잠재 공간 변수는 어떻게 사용되어 네트워크 내에서 규칙 유사 일반화의 출현을 능동적으로 관찰하고 해석할 수 있는가?

주요 결과

• . 생성자 네트워크는 국소적 이형음 변형 과정을 매우 높은 정확도로 학습하여 탈음성 과정에서 1.8%의 오류율을 기록한다.
• . 비국소적 고음 조화는 확률적으로 학습되며, 23.2%의 출력에서 조화가 어긋나는 것으로 나타나, 국소적 과정보다 낮은 신뢰성과 함께 학습됨을 시사한다.
• . 조화를 이룬 출력과 이룬 출력이 아닌 출력의 분포는 범주적가 아니라 확률적이며, 앞쪽 고음에서 뒤쪽 고음으로의 전이 시기에 비조화 출력이 더 자주 발생한다.
• . 모델이 비국소적 과정에서의 성능는 인간 행동 데이터와 매우 유사하며, 계산 모델과 인간 피실험자 간에 유사한 오류율이 관찰된다.
• . 잠재 공간 조작을 통해 단일 변수(예: z17)가 접두사의 존재를 인코딩하고, 그 보간을 통해 비국소적 형태음운론적 과정을 능동적으로 관찰할 수 있음이 드러났다.
• . 본 연구는 규칙 유사 일반화가 잠재 변수 간의 상호작용에서 유래됨을 보여주며, 이는 분산된 연속적 표현에서 기호 유사 계산이 유도될 수 있음을 시사한다.