[論文レビュー] Sampling strategies in Siamese Networks for unsupervised speech representation learning

Rachid Riad, Corentin Dancette+4 more|arXiv (Cornell University)|Apr 30, 2018

Speech Recognition and Synthesis被引用数 14

ひとこと要約

本論文は、自己教師あり音声表現学習におけるシアンプソンネットワークにおけるサンプリング戦略の影響を調査し、語の頻度圧縮と同一／異なる語ペアの最適化された割合が、音声の区別能を顕著に向上させることを示している。提案されたサンプリング戦略は、ZeroSpeech 2015ベンチマークにおいて、弱教師あり条件下で部分語レベル表現学習において最先端の結果を達成し、完全に自己教師あり設定へも効果的に転送可能である。

ABSTRACT

Recent studies have investigated siamese network architectures for learning invariant speech representations using same-different side information at the word level. Here we investigate systematically an often ignored component of siamese networks: the sampling procedure (how pairs of same vs. different tokens are selected). We show that sampling strategies taking into account Zipf's Law, the distribution of speakers and the proportions of same and different pairs of words significantly impact the performance of the network. In particular, we show that word frequency compression improves learning across a large range of variations in number of training pairs. This effect does not apply to the same extent to the fully unsupervised setting, where the pairs of same-different words are obtained by spoken term discovery. We apply these results to pairs of words discovered using an unsupervised algorithm and show an improvement on state-of-the-art in unsupervised representation learning using siamese networks.

研究の動機と目的

• サンプリング戦略（特に語の頻度分布とペア構成）が、音声表現学習におけるシアンプソンネットワーク性能に与える影響を体系的に評価すること。
• Zipfの法則、話者分布、および同一／異なるペアの割合が、弱教師ありおよび完全に自己教師ありの両設定における学習に与える影響を調査すること。
• ゴールアノテーションデータから得た最適なサンプリングハイパーパrameterを、自己教師ありの話者語彙発見出力に転送し、ゼロリソース音声タスクにおける性能を向上させること。
• 低リソースおよびゼロリソース音声状況下で、音声の区別能を最大化するための最良のサンプリング設定を同定すること。

提案手法

• 著者らは、共有重みとコントラスト損失を用いたPyTorchベースのシアンプソンネットワーク（ABnet3）を実装し、スタックされた7フレームフィルタバンク特徴量のペアを入力として使用した。
• 同じ語ペアは、ネットワークに供給する前にフレームレベルで動的時間ワープ（DTW）によって整列された。
• 語タイプに周波数圧縮関数 φ を適用し、高頻度語の優位性を低減するように周波数分布を変換した。
• 同じ語ペアと異なる語ペアの選択確率を調整することで、サンプリングの割合を最適化し、語タイプおよび話者レベルでのマッチングを別々に制御した。
• 本手法は、ゴール語レベルアノテーション（弱教師あり）と話者語彙発見（STD）出力（完全に自己教師あり）の両方を用いて、Buckeyeコーパス上で評価された。
• 性能はABX区別能指標を用いて測定され、話者内および話者間条件の両方の結果が報告された。

実験結果

リサーチクエスチョン

• RQ1 語の頻度圧縮は、シアンプソンネットワークにおける学習された音声表現の区別能にどのように影響するか？
• RQ2 トレーニングに最適な同一語ペアと異なる語ペアの割合は何か？ また、データサイズや分布の変化に応じてどのように変化するか？
• RQ3 弱教師ありデータ（ゴールアノテーション）で最適化されたサンプリング戦略は、話者語彙発見出力に基づく完全に自己教師あり設定に効果的に転送可能か？
• RQ4 話者語彙発見システムにおけるDTWの閾値は、ペアの品質および下流の表現学習にどのように影響するか？
• RQ5 Zipfの法則に基づくサンプリングハイパーパrameterは、ゼロリソース音声表現学習において、どの程度性能を向上させるか？

主な発見

• 語タイプに周波数圧縮（φ: n → 1）を適用することで、弱教師あり設定下でABX区別能が顕著に向上し、Buckeyeデータセットでは話者内で10.4、話者間で17.2の誤差率にまで低下した。
• 最適なサンプリング設定は、P^w_- = 0.7（異なる語ペアを70％選択）かつ P^s_- = 0（話者間ミキシングなし）であり、標準的な50/50分割を上回る性能を示した。
• 同じサンプリング戦略を、JansenらのSTDシステムから得た発見済み語ペアに自己教師あり設定に適用したところ、δ = 0.88で話者間誤差率17.7を達成し、以前のニューラルネットワークベースラインを上回った。
• STDシステムにおけるカバレッジとNEDの最良のトレードオフはδ = 0.88で達成され、9,853クラスタ、NED = 0.442、カバレッジ = 0.394を達成したが、強力な区別能を維持した。
• 改善は見られたが、DPGMMベースの手法（Heckら）は、ZeroSpeech 2015ベンチマークにおいて依然として最先端であり、Buckeyeでの話者間ABX誤差率は8.0であった。
• 本研究では、サンプリング戦略が重要なハイパーパrameterであることが確認され、表現学習におけるアーキテクチャや損失関数の選択と同等の影響を持つことが分かった。