[논문 리뷰] Identity-Based Patterns in Deep Convolutional Networks: Generative Adversarial Phonology and Reduplication

Gašper Beguš|arXiv (Cornell University)|2020. 09. 13.

Speech Recognition and Synthesis참고 문헌 61인용 수 11

한 줄 요약

이 논문은 조건부 정보 기반 wGAN(ciwGAN) 아키텍처를 통해 훈련된 딥 컨volution 신경망이 원시적이고 연속적인 음성 데이터에서 신뢰성 기반 반복 패턴을 비지도 학습으로 학습하고 일반화할 수 있음을 보여준다. 두 개의 이산 잠복 변수를 조작함으로써 모델은 훈련 데이터에 존재하지 않는 새로운 반복 형태—예: [s@siju]—를 생성하며, 이는 복사 및 음운론적 구조에 대한 잠재적 상징적 표현의 탄생을 시사한다.

ABSTRACT

This paper models unsupervised learning of an identity-based pattern (or copying) in speech called reduplication from raw continuous data with deep convolutional neural networks. We use the ciwGAN architecture Begu\v{s} (2021a; arXiv:2006.02951) in which learning of meaningful representations in speech emerges from a requirement that the CNNs generate informative data. We propose a technique to wug-test CNNs trained on speech and, based on four generative tests, argue that the network learns to represent an identity-based pattern in its latent space. By manipulating only two categorical variables in the latent space, we can actively turn an unreduplicated form into a reduplicated form with no other substantial changes to the output in the majority of cases. We also argue that the network extends the identity-based pattern to unobserved data. Exploration of how meaningful representations of identity-based patterns emerge in CNNs and how the latent space variables outside of the training range correlate with identity-based patterns in the output has general implications for neural network interpretability.

연구 동기 및 목표

• . 이 논문은 딥 컨volution 신경망이 원시적이고 레이블이 없는 음향 데이터로부터 신뢰성 기반 음운론적 패턴(예: 반복)을 학습할 수 있는지 조사한다.
• 이러한 네트워크가 [s]-으로 시작하는 단어와 같이 관측되지 않은 데이터에 일반화할 수 있는지 검토한다.
• 비지도 모델의 잠복 공간에서 상징적 유사 표현(이산적, 인과적, 범주적)이 탄생하는지 시험한다.
• 유도적 편향(정보 기반 생성 및 잠복 이진화)이 규칙 유사 표현의 탄생을 어떻게 촉진하는지 평가한다.
• 언어 특화 유도적 편향 없이도 원시 감각 입력에서 추상 언어 규칙이 딥 러닝 모델에서 탄생할 수 있음을 보여줌으로써 상징적 접근과 연결주의적 접근을 브릿지하는 데 목적이 있다.

제안 방법

• . 연구는 생성자가 훈련 데이터에 접근하지 않고도 임의의 노이즈에서 정보적이고 현실적인 음성 샘플을 생성하도록 훈련하는 ciwGAN 아키텍처를 사용한다.
• Q-네트워크는 생성자가 실제 데이터와 구분 가능한 데이터를 생성하도록 강제함으로써 의미 있는 표현 학습을 촉진한다.
• 잠복 공간 변수는 반복과 같은 언어적 특징에 해당하는 이산적이고 범주적인 표현을 장려하기 위해 이진화된다.
• 모델은 쌍화되지 않은 원시 연속 음성 웨이브폼(예: /pala/ → /papala/)을 대상으로 훈련되며, 특별한 쌍화 지도 없이 진행된다.
• wug-테스트 유사 탐색 기법을 사용해 음성/음운론적 특징(예: /s/ 존재 여부 또는 반복)에 해당하는 잠복 변수를 식별함으로써 제어 가능한 조작이 가능해진다.
• 새로운 형태는 훈련 범위를 초월해 잠복 변수를 극단적 값으로 설정하거나 선형 보간함으로써 생성되며, 일반화 및 상징적 유사 행동을 시험한다.

실험 결과

연구 질문

• RQ1 . 딥 컨volution 신경망은 쌍화된 훈련 데이터 없이 원시적이고 연속적인 음성에서 반복을 신뢰성 기반 패턴으로 학습할 수 있는가?
• RQ2 . 생성기의 코드 공간 내 잠복 변수들이 반복 및 자음 특징과 같은 언어적으로 의미 있는 표현에 해당하는가?
• RQ3 . 네트워크는 훈련 중에 볼 수 없었던 새로운 반복 형태(예: [s@siju])를 일반화하여 생성할 수 있는가?
• RQ4 . 정보 기반 생성과 잠복 이진화를 포함한 유도적 편향이 잠복 공간 내 상징적 유사 표현의 탄생에 어떻게 영향을 미치는가?
• RQ5 . 개별 잠복 변수가 반복과 같은 언어적 특성에 대해 인과적이고 이산적인 조작을 얼마나 잘 가능하게 하는가?

주요 결과

• . ciwGAN 모델은 쌍화된 입력-출력 예제 없이도 원시 음성 데이터에서 반복 형태를 비지도 방식으로 성공적으로 생성한다.
• . 오직 두 개의 범주형 잠복 변수—반복과 자음 존재 여부—만 조작해도, 비반복 형태를 최소한의 부작용 없이 안정적으로 반복 형태로 변환할 수 있다.
• . 훈련 데이터에 존재하지 않는 [s]-으로 시작하는 기반어를 가진 [s@siju]와 같은 새로운 반복 형태로 일반화가 가능함을 보여주며, 훈련 분포를 초월한 외삽이 이루어졌음을 시사한다.
• . 이진화된 잠복 코드는 언어적 특징에 대한 이산적이고 범주적인 제어를 가능하게 하며, 상징적 유사 표현의 탄생을 지원한다.
• . 유도적 편향 없이도 원시 데이터에서 최소한의 아키텍처 편향으로도 반복 유사 패턴이 감소된 성능으로 탄생함을 보여주며, 상징적 유사 행동이 원시 데이터에서 최소한의 아키텍처 편향으로도 발생할 수 있음을 시사한다.
• . 음향 분석 결과, 생성된 반복 형태가 인간이 생성한 음성과 매우 유사함을 확인하여, 모델이 실제 음운론적 과정을 잘 포착하고 있음을 확인한다.