[論文レビュー] Identity-Based Patterns in Deep Convolutional Networks: Generative Adversarial Phonology and Reduplication

Gašper Beguš|arXiv (Cornell University)|Sep 13, 2020

Speech Recognition and Synthesis参考文献 61被引用数 11

ひとこと要約

この論文は、条件付き情報的wGAN（ciwGAN）アーキテクチャを用いて訓練された深層畳み込みニューラルネットワークが、教師なしで生の連続音声データから同一性に基づく反復パターンを学習・一般化できることを示している。2つの離散的潜在変数を操作することで、学習データに存在しない新しい反復形（例：[s@siju]）が生成され、これは複写および音韻構造のようないずれかの象徴的表現が出現していることを示している。

ABSTRACT

This paper models unsupervised learning of an identity-based pattern (or copying) in speech called reduplication from raw continuous data with deep convolutional neural networks. We use the ciwGAN architecture Begu\v{s} (2021a; arXiv:2006.02951) in which learning of meaningful representations in speech emerges from a requirement that the CNNs generate informative data. We propose a technique to wug-test CNNs trained on speech and, based on four generative tests, argue that the network learns to represent an identity-based pattern in its latent space. By manipulating only two categorical variables in the latent space, we can actively turn an unreduplicated form into a reduplicated form with no other substantial changes to the output in the majority of cases. We also argue that the network extends the identity-based pattern to unobserved data. Exploration of how meaningful representations of identity-based patterns emerge in CNNs and how the latent space variables outside of the training range correlate with identity-based patterns in the output has general implications for neural network interpretability.

研究の動機と目的

• この論文は、深層畳み込みネットワークが生のラベルなし音声データから同一性に基づく音韻パターン（例：反復）を学習できるかどうかを調査する。
• このようなネットワークが、[s]-で始まる語など、観測されていないデータに一般化できるかどうかを検討する。
• この研究では、離散的・因果的・カテゴリー的であるという特徴を持つ象徴的類似表現が、教師なしモデルの潜在空間に出現するかどうかをテストする。
• 誘導的バイアス（情報的生成と潜在変数の二値化）が、規則的表現の出現をどのように促進するかを評価する。
• 本研究は、抽象的な言語規則が言語固有の誘導的バイアスを必要とせず、生の感覚入力から深層学習モデル内で出現しうることを示すことで、象徴的および接続主義的アプローチを橋渡しすることを目的としている。

提案手法

• 研究は、生成器が学習データにアクセスせずにランダムノイズから情報的かつ現実的な音声サンプルを生成するように訓練されるciwGANアーキテクチャを採用する。
• Qネットワークが生成器が本物のデータとは区別可能であるように制御し、意味のある表現学習を促進する。
• 潜在空間の変数を二値化することで、反復などの言語的特徴に対応する離散的・カテゴリー的表現を促進する。
• モデルは、対応する入出力例が存在しない、生の連続音声波形（例：/pala/ → /papala/）を用いて訓練される。
• wugテストに類似したプローブ技術を用いて、音声的／音韻的特徴（例：/s/の有無、反復の有無）に対応する潜在変数を同定し、制御された操作を可能にする。
• 新しい形態は、潜在変数を訓練範囲外の極端な値に設定するか、補間することで生成され、一般化および象徴的類似行動のテストがなされる。

実験結果

リサーチクエスチョン

• RQ1 生の連続音声データからペアの訓練データが存在しない状況でも、深層畳み込みネットワークが反復を同一性に基づくパターンとして学習できるか？
• RQ2 生成器のコード空間における潜在変数が、反復や音素的特徴といった言語的に意味のある表現に対応しているか？
• RQ3 モデルは、学習中に観測されていなかった新しい反復形（例：[s@siju]）を生成できるか？
• RQ4 特に情報的生成と潜在変数の二値化という誘導的バイアスが、潜在空間における象徴的類似表現の出現にどのように影響するか？
• RQ5 個々の潜在変数が、反復のような言語的性質を因果的・離散的に操作するためにどの程度可能か？

主な発見

• ciwGANモデルは、ペアの入出力例が存在しない状況でも、生の音声データから反復形を教師なしで生成する能力を効果的に習得している。
• 反復と音素的特徴の2つのカテゴリー的潜在変数のみを操作することで、非反復形を最小限の不測の変化を伴いながら反復形に一貫して変換できる。
• モデルは、学習データに存在しなかった[s]-で始まる語（例：[s@siju]）のような新しい入力に対しても一般化できており、学習分布を超えた外挿が行われていることを示している。
• 二値化された潜在コードは、言語的特徴に対する離散的・カテゴリー的制御を可能にし、象徴的類似表現の出現を支援している。
• 誘導的バイアスを含まない単純なWaveGANアーキテクチャでも、性能は低下するが反復に類似したパターンが出現しており、象徴的類似行動が最小限のアーキテクチャ的バイアスで生のデータから出現しうることを示唆している。
• 音声分析により、生成された反復形が人間が発話する音声と非常に類似していることが確認され、モデルが実際の音韻プロセスを捉えていることが示された。