[論文レビュー] Local and non-local dependency learning and emergence of rule-like representations in speech data by Deep Convolutional Generative Adversarial Networks

Gašper Beguš|arXiv (Cornell University)|Sep 26, 2020

Phonetics and Phonology Research参考文献 60被引用数 13

ひとこと要約

この論文は、深層畳み込み生成対抗ネットワーク（GAN）が、潜在変数間の相互作用から規則的な形の音韻論的一般化が生じる中で、音声データ内の局所的および非局所的音韻的プロセスを学習できることを示している。主な発見は、母音調和のような非局所的プロセスが局所的プロセスよりも確率的に、かつやや信頼性が低い確率的学習として得られることであり、これは人間の学習バイアスと局所性への言語的タイプロジー的好みと一致する。

ABSTRACT

This paper argues that training GANs on local and non-local dependencies in speech data offers insights into how deep neural networks discretize continuous data and how symbolic-like rule-based morphophonological processes emerge in a deep convolutional architecture. Acquisition of speech has recently been modeled as a dependency between latent space and data generated by GANs in Begu\v{s} (2020b; arXiv:2006.03965), who models learning of a simple local allophonic distribution. We extend this approach to test learning of local and non-local phonological processes that include approximations of morphological processes. We further parallel outputs of the model to results of a behavioral experiment where human subjects are trained on the data used for training the GAN network. Four main conclusions emerge: (i) the networks provide useful information for computational models of speech acquisition even if trained on a comparatively small dataset of an artificial grammar learning experiment; (ii) local processes are easier to learn than non-local processes, which matches both behavioral data in human subjects and typology in the world's languages. This paper also proposes (iii) how we can actively observe the network's progress in learning and explore the effect of training steps on learning representations by keeping latent space constant across different training steps. Finally, this paper shows that (iv) the network learns to encode the presence of a prefix with a single latent variable; by interpolating this variable, we can actively observe the operation of a non-local phonological process. The proposed technique for retrieving learning representations has general implications for our understanding of how GANs discretize continuous speech data and suggests that rule-like generalizations in the training data are represented as an interaction between variables in the network's latent space.

研究の動機と目的

• . 論文は、深層ニューラルネットワークが生の音声データにおける音韻的依存関係をどのように学習するかを調査する。
• . 生成的対抗ネットワーク（GAN）のような接続主義的アーキテクチャにおいて、規則的・記号的表現の出現をモデル化することを目的とする。
• . 人工文法学習実験からの人間の行動データと比較して、計算モデルの性能を評価する。
• . 訓練ステップにわたる潜在空間の操作を通じて、学習の進行を追跡する解釈可能性技術を検討する。
• . 非局所的プロセス（例：母音調和）が深層ネットワークによって学習可能かどうかをテストし、局所的プロセスと比較して、正確性および学習バイアスの観点から検討する。

提案手法

• . この研究では、局所的同音的変化および非局所的母音調和を含む制御された音韻的パターンを持つ合成音声データ上でトレーニングされた深層畳み込みGANを用いる。
• . 潜在空間の変数を特定し、それらが特定の音韻的特徴やプロセスの生成に果たす役割を調査する。
• . 特定の潜在変数（例：z17）の線形補間を用いて、摩擦ノイズや母音の後方性といった音響的特徴の徐々な変化を観察する。
• . モデルは、人工文法学習実験を模倣した小規模な人工データセット上でトレーニングされ、人間の行動データと直接比較可能となる。
• . クリーニング効果を避けるため、複数の訓練ステップで進行状況を分析し、時間の経過に伴う表現の出現を観察する。
• . 統計的分析により、局所的プロセスと非局所的プロセスの間の誤差率を比較し、母音調和タスクにおける調和的・非調和的出力の評価を行う。

実験結果

リサーチクエスチョン

• RQ1 . 深層畳み込みGANは、生の音声データから局所的音韻的プロセス（例：濁音の無声化、送気）を学習できるか？
• RQ2 . GANは非局所的語彙音韻的プロセス（例：母音調和）も学習できるか？もし可能であれば、どの程度の信頼性で学習できるか？
• RQ3 . 局所的プロセスと非局所的プロセスの学習ダイナミクスは、誤差率および収束の観点からどのように比較できるか？
• RQ4 . モデルの表現および行動が、人工文法学習実験における人間被験者で観察されたものとどの程度類似しているか？
• RQ5 . 潜在空間の変数をどのようにして、規則的な一般化の出現を能動的に観察・解釈するのに活用できるか？

主な発見

• . 生成器ネットワークは局所的同音的プロセスを高い正確性で学習し、無声化の誤差率は1.8%に達した。
• . 非局所的母音調和は確率的に学習され、23.2%の出力が調和を破ったため、局所的プロセスよりも信頼性が低いことが示された。
• . 調和的出力と非調和的出力の分布はカテゴリー的ではなく確率的であり、特に前母音から後母音への遷移時に非調和的出力がより頻発した。
• . モデルの非局所的プロセスに対する性能は、人間被験者と類似した誤差率を示し、両者で類似した傾向が観察された。
• . 潜在空間の操作により、1つの変数（例：z17）が接頭辞の有無を符号化していることが判明し、その補間により非局所的語彙音韻的プロセスの能動的観察が可能になった。
• . この研究は、規則的な一般化が潜在変数間の相互作用から生じることを示し、分散的・連続的表現から記号的計算が生じ得ることを示唆している。