[论文解读] Identity-Based Patterns in Deep Convolutional Networks: Generative Adversarial Phonology and Reduplication

Gašper Beguš|arXiv (Cornell University)|Sep 13, 2020

Speech Recognition and Synthesis参考文献 61被引用 11

一句话总结

该论文表明，通过条件信息性wGAN（ciwGAN）架构训练的深度卷积神经网络能够从原始连续语音数据中无监督地学习并泛化基于身份的重叠模式。通过操控两个离散潜在变量，该模型生成了训练数据中不存在的新重叠形式（如 [s@siju]），表明其在潜在空间中涌现出类似符号的复制与音系结构表征。

ABSTRACT

This paper models unsupervised learning of an identity-based pattern (or copying) in speech called reduplication from raw continuous data with deep convolutional neural networks. We use the ciwGAN architecture Begu\v{s} (2021a; arXiv:2006.02951) in which learning of meaningful representations in speech emerges from a requirement that the CNNs generate informative data. We propose a technique to wug-test CNNs trained on speech and, based on four generative tests, argue that the network learns to represent an identity-based pattern in its latent space. By manipulating only two categorical variables in the latent space, we can actively turn an unreduplicated form into a reduplicated form with no other substantial changes to the output in the majority of cases. We also argue that the network extends the identity-based pattern to unobserved data. Exploration of how meaningful representations of identity-based patterns emerge in CNNs and how the latent space variables outside of the training range correlate with identity-based patterns in the output has general implications for neural network interpretability.

研究动机与目标

• 该论文研究深度卷积网络是否能从原始、未标注的语音数据中学习到如重叠这类基于身份的音系模式。
• 该研究检验此类网络是否能在无显式监督的情况下泛化到未见数据（如以 [s] 开头的词）。
• 该研究测试在无监督模型的潜在空间中，是否会出现类似符号的表征（即离散化、因果性、类别化的表征）。
• 该研究评估归纳偏置（信息性生成与潜在变量二值化）在促进规则化表征出现方面的作用。
• 该研究旨在通过展示抽象语言规则可从原始感官输入中在深度学习模型中自发涌现，从而弥合符号主义与连接主义方法之间的鸿沟，且无需语言特异性归纳偏置。

提出的方法

• 该研究采用 ciwGAN 架构，其中生成器在生成过程中不访问训练数据，仅从随机噪声生成信息丰富且逼真的语音样本。
• Q-network 强制生成器输出的数据可与真实数据区分开来，从而促进有意义的表征学习。
• 潜在空间变量被二值化，以鼓励对应于语言特征（如重叠）的离散、类别化表征。
• 模型在原始连续语音波形上进行训练，涵盖原形与重叠形式（如 /pala/ → /papala/），且无成对监督。
• 采用类似 wug 测试的探测技术，识别对应于语音/音系特征（如 /s/ 的存在或重叠）的潜在变量，从而实现可控操控。
• 通过在训练范围之外插值或设置潜在变量至极端值，生成新形式，以测试泛化能力与类似符号的行为。

实验结果

研究问题

• RQ1 深度卷积网络能否在无成对训练数据的情况下，从未标注的连续语音中学习到重叠作为基于身份的模式？
• RQ2 生成器代码空间中的潜在变量是否对应于语言上有意义的表征（如重叠与音段特征）？
• RQ3 网络能否泛化生成训练过程中未见过的新重叠形式（如 [s@siju]）？
• RQ4 归纳偏置（特别是信息性生成与潜在变量二值化）如何影响潜在空间中类似符号表征的出现？
• RQ5 单个潜在变量在多大程度上能够实现对重叠等语言属性的因果性、离散化操控？

主要发现

• ciwGAN 模型成功在无监督条件下从原始语音数据中生成重叠形式，且无需访问成对的输入-输出样本。
• 仅通过操控两个类别化的潜在变量（重叠与音段存在性），即可可靠地将未重叠形式转换为重叠形式，且无意中引入的改变极少。
• 该模型能泛化到新输入，如 [s@siju]，即一个以 [s]-开头的基底在训练数据中未出现的重叠形式，表明其已超越训练分布进行外推。
• 二值化的潜在编码实现了对语言特征的离散、类别化控制，支持类似符号表征的出现。
• 即使在仅含原始 WaveGAN 架构（无归纳偏置）的情况下，仍能以较低性能出现类似重叠的模式，表明类似符号的行为可从原始数据中在最小架构偏置下自发涌现。
• 声学分析证实，生成的重叠形式与人类语音高度相似，表明该模型捕捉到了真实的音系过程。