[論文レビュー] Analysis of Predictive Coding Models for Phonemic Representation Learning in Small Datasets

María Andrea Cruz Blandón, Okko Räsänen|arXiv (Cornell University)|Jul 8, 2020

Speech Recognition and Synthesis参考文献 19被引用数 10

ひとこと要約

本研究では、フランス語および中国語の小規模・低リソースな音声データセットから音声的表現を学習するため、自己回帰的予測符号化（APC）と対照的予測符号化（CPC）を評価している。APCの損失と音声区別性能の間に強い相関関係がある一方で、CPCは迅速な収束を示し、最初の訓練エポック後でさえAPCを上回るABXスコアを達成しており、予測損失と性能の整合性が低いにもかかわらず、初期段階の表現学習においてCPCの効率性が示された。

ABSTRACT

Neural network models using predictive coding are interesting from the viewpoint of computational modelling of human language acquisition, where the objective is to understand how linguistic units could be learned from speech without any labels. Even though several promising predictive coding -based learning algorithms have been proposed in the literature, it is currently unclear how well they generalise to different languages and training dataset sizes. In addition, despite that such models have shown to be effective phonemic feature learners, it is unclear whether minimisation of the predictive loss functions of these models also leads to optimal phoneme-like representations. The present study investigates the behaviour of two predictive coding models, Autoregressive Predictive Coding and Contrastive Predictive Coding, in a phoneme discrimination task (ABX task) for two languages with different dataset sizes. Our experiments show a strong correlation between the autoregressive loss and the phoneme discrimination scores with the two datasets. However, to our surprise, the CPC model shows rapid convergence already after one pass over the training data, and, on average, its representations outperform those of APC on both languages.

研究の動機と目的

• 予測符号化モデルが低リソース環境下で言語やデータセットサイズにわたってどれほど一般化するかを評価すること。
• 小規模データセットにおけるモデルの損失関数と音声区別性能の関係を調査すること。
• APCおよびCPCモデルにおける訓練データ量の表現品質への影響を評価すること。
• 予測符号化モデルが言語的教師なし条件下でも効果的な音声類似表現を学習できるかどうかを特定すること。

提案手法

• APCおよびCPCモデルを、フランス語および中国語の音声データ2.5～25時間分で訓練し、入力として生の音声のみを使用した。
• 音声区別性能を評価するためにABXタスクを用い、話者内および話者間の最小対の区別精度を測定した。
• 収束性および一般化性能を評価するために、複数の訓練エポックにわたって検証損失およびABXスコアを追跡した。
• 特にAPCの最適化のため、早期停止およびハイパーパramータチューニングを適用してモデル選択を最適化した。
• CPCでは、文脈表現と将来の表現間の相互情報量を最大化するためにInfoNCE損失を採用した。
• 両モデルともに非線形エンコーダーと自己回帰的文脈モデリングを用い、予測用の潜在表現を生成した。

実験結果

リサーチクエスチョン

• RQ1 異なるデータセットにおいて、予測符号化モデルの損失と音声区別性能との間に一貫した関係があるか？
• RQ2 データセットサイズおよび言語が、APCおよびCPCの音声的表現学習性能にどのように影響するか？
• RQ3 APCおよびCPCにおける予測損失の最小化が、最適な音声類似表現をもたらすか？
• RQ4 APCおよびCPCモデルは、小規模データ環境下でどれほど速やかに効果的な音声に敏感な表現に収束するか？

主な発見

• APCの検証損失とABXスコアの間には、フランス語および中国語の両データセットで強い相関関係（r ≈ 0.97）が確認された。
• CPCは1回の訓練エポック後にもかかわらず、両言語および両ABX指標においてAPCを上回る最高のABXスコアを達成した。
• APCはデータ量の増加に伴い安定した性能向上を示したが、フランス語データセットの25％（6.3時間）でも収束が確認されたことから、ハイパーパramータチューニングがデータスケーリングよりも効果的である可能性が示唆された。
• CPCの検証損失はABX性能と相関がなかったため、このモデルでは損失最小化が必ずしも音声表現品質の予測に信頼性があるとは限らないことが示された。
• 急速な収束にもかかわらず、CPCは音声区別性能にさらなる向上が見られない一方で、予測損失は改善を続けたことから、損失とタスク性能との間に乖離が生じている可能性が示された。
• MFCCベースのABXスコアは、両PCモデルが大多数のケースで上回り、CPCは最低のABXスコア（中国語では話者内で9.185）を達成し、MFCCベースラインを上回った。