[論文レビュー] Robust Training of Vector Quantized Bottleneck Models

Adrian Łańcucki, Jan Chorowski+7 more|arXiv (Cornell University)|May 18, 2020

Speech Recognition and Synthesis参考文献 35被引用数 8

ひとこと要約

この論文は、コードブック学習をオンラインk-meansクラスタリングとして扱うことで、ベクトル量子化変分オートエンコーダー（VQ-VAEs）の訓練を強化する手法を提案する。コードブック学習率の増加、量子化の前処理としてのバッチ正規化、および周期的なデータ依存型コードブック再初期化を導入し、より安定した訓練、広範なコードブック利用、音声、画像、ユニット発見タスクにおける性能向上を実現した。

ABSTRACT

In this paper we demonstrate methods for reliable and efficient training of discrete representation using Vector-Quantized Variational Auto-Encoder models (VQ-VAEs). Discrete latent variable models have been shown to learn nontrivial representations of speech, applicable to unsupervised voice conversion and reaching state-of-the-art performance on unit discovery tasks. For unsupervised representation learning, they became viable alternatives to continuous latent variable models such as the Variational Auto-Encoder (VAE). However, training deep discrete variable models is challenging, due to the inherent non-differentiability of the discretization operation. In this paper we focus on VQ-VAE, a state-of-the-art discrete bottleneck model shown to perform on par with its continuous counterparts. It quantizes encoder outputs with on-line $k$-means clustering. We show that the codebook learning can suffer from poor initialization and non-stationarity of clustered encoder outputs. We demonstrate that these can be successfully overcome by increasing the learning rate for the codebook and periodic date-dependent codeword re-initialization. As a result, we achieve more robust training across different tasks, and significantly increase the usage of latent codewords even for large codebooks. This has practical benefit, for instance, in unsupervised representation learning, where large codebooks may lead to disentanglement of latent representations.

研究の動機と目的

• エンコーダ出力の非定常性とコードブック初期化の感受性によって引き起こされるVQ-VAE訓練の不安定性と収束不良を解消する。
• 大規模VQ-VAEモデルにおけるコードブック利用の向上を図り、より優れた分離性と表現品質を実現する。
• コードブック学習をオンラインk-meansクラスタリングとして扱うことで、深層離散ボトルネックモデルの訓練ダイナミクスを安定化する。
• 画像生成、音声認識、無教師ユニット発見を含む多様なタスクにおけるアーキテクチャ的・最適化的変更の影響を評価する。
• 複数の訓練強化手法を組み合わせることで、個々の変更よりも優れたかつ一貫性のある結果が得られることを示す。

提案手法

• VQ-VAEのコードブック学習をオンラインk-meansクラスタリングとして扱い、既知のk-means最適化戦略を活用する。
• エンコーダに対するコードブック学習率を向上させることで収束を加速し、コードブックの安定性を向上させる。
• 量子化層の前処理としてバッチ正規化を適用し、潜在特徴の大きさをバランスさせ、勾配の流れを改善する。
• 最近のエンコーダ出力をオフラインk-meansでクラスタリングすることで、周期的かつデータ依存型のコードブック再初期化を実施する。
• 離散的量子化操作を逆伝播可能に保つために、ストレートスラッシュ推定法（straight-through estimator）を用いる。
• 増大したコードブック学習率、バッチ正規化、再初期化の3つの強化を組み合わせることで、最適な訓練パフォーマンスを達成する。

実験結果

リサーチクエスチョン

• RQ1 コードブック初期化のスケーリングが、VQ-VAE訓練の安定性と収束に与える影響は何か？
• RQ2 周期的かつデータ依存型のコードブック再初期化は、訓練中のエンコーダ活性化の非定常性をどの程度軽減できるか？
• RQ3 コードブックとエンコーダに別々の学習率を設定することで、訓練ダイナミクスとコードブック利用が向上するか？
• RQ4 量子化の前処理としてのバッチ正規化は、表現品質と訓練安定性にどのような影響を及ぼすか？
• RQ5 複数の訓練強化手法を組み合わせた場合、画像、音声、ユニット発見タスクにおける下流性能に及ぼす総合的効果は何か？

主な発見

• 周期的かつデータ依存型のコードブック再初期化は、収束の改善と初期のBPD値の低減を顕著に実現し、他の強化と組み合わせると顕著な効果を示す。
• コードブック学習率の増加は、収束の高速化とより安定した訓練をもたらし、特にコードブックが大きい場合に顕著である。
• 量子化の前処理としてのバッチ正規化は、CIFAR-10の全設定においてわずかだが一貫したBPD（ビット/次元）の改善をもたらす。
• 増大したコードブック学習率、バッチ正規化、周期的再初期化の組み合わせが、評価されたすべてのタスクで最良のパフォーマンスと最も強固な訓練を達成する。
• コードブック再初期化は、コードブックの崩壊を防ぎ、大規模コードブックに対しても潜在的コードワードの使用を増加させ、表現の分離性を向上させる。
• 提案された訓練戦略により、音声認識やユニット発見を含む教師あり・教師なしタスクにおける下流性能が向上し、BPDとクラスタリング指標において一貫した向上が得られた。