[論文レビュー] Vector-Quantized Autoregressive Predictive Coding

Yu-An Chung, Hao Tang+1 more|arXiv (Cornell University)|May 17, 2020

Speech Recognition and Synthesis参考文献 24被引用数 6

ひとこと要約

本稿では、モデル容量を明示的に制御し、学習された表現に情報がどのように保持されるかを調査するために、ベクトル量子化を用いる自己教師あり音声表現モデルであるVector-Quantized Autoregressive Predictive Coding (VQ-APC) を提案する。VQによる容量制限を通じて、自己教師あり目的関数を最適化する際、音声的および話者情報が強調されることが明らかになり、得られた離散的コードは英語の音素に非常に近い対応関係を示している。

ABSTRACT

Autoregressive Predictive Coding (APC), as a self-supervised objective, has enjoyed success in learning representations from large amounts of unlabeled data, and the learned representations are rich for many downstream tasks. However, the connection between low self-supervised loss and strong performance in downstream tasks remains unclear. In this work, we propose Vector-Quantized Autoregressive Predictive Coding (VQ-APC), a novel model that produces quantized representations, allowing us to explicitly control the amount of information encoded in the representations. By studying a sequence of increasingly limited models, we reveal the constituents of the learned representations. In particular, we confirm the presence of information with probing tasks, while showing the absence of information with mutual information, uncovering the model's preference in preserving speech information as its capacity becomes constrained. We find that there exists a point where phonetic and speaker information are amplified to maximize a self-supervised objective. As a byproduct, the learned codes for a particular model capacity correspond well to English phones.

研究の動機と目的

• 自己教師あり損失が低いことと、下流タスクでの優れた性能の間の関係を調査すること。
• モデル容量を制限した場合に、自己教師あり予測コーディング（APC）によって学習された表現にどのような情報がエンコードされているかを理解すること。
• ベクトル量子化（VQ）が、学習された表現内の情報含量を制御・分析するための精密なメカニズムとして機能するかを検討すること。
• 学習された表現に音声的および話者情報が含まれるかどうか、およびモデル容量の変化に伴いその状態がどのように変化するかを特定すること。
• VQ-APCが生成する離散的コードが、英語の音素のような意味のある言語的単位に対応しているかどうかを評価すること。

提案手法

• 自己回帰モデルの隠れ層の間にベクトル量子化レイヤーを挿入することで、ボトルネックを形成するAPCの拡張版であるVQ-APCを導入する。
• モデルの訓練に、予測された将来フレームと真値フレームの間のL1損失を用い、元のAPCの目的関数を維持する。
• 学習可能なコードブックを用いて隠れ表現を量子化し、1フレームあたりのビット数をコードブックサイズとシーケンス長で制御する。
• コードブックサイズを変化させた複数の構成でモデルの挙動を分析し、容量制限下での情報保持を検討する。
• プローブタスクと相互情報推定を用いて、表現に音声的および話者情報が存在するか否かを評価する。
• 線形分類器を用いて、VQ-APCを他の自己教師ありモデル（CPC、BMR、Mockingjay、MT-APC）と比較し、音声的および話者分類タスクにおける性能を評価する。

Figure 1: A diagram of VQ-APC. $g_{AR}$ is an autoregressive model with $L$ layers with $g_{AR}^{(\ell)}$ denoting the $\ell$ -th layer and $h_{t}^{(\ell)}$ denoting the output vector of $g_{AR}^{(\ell)}$ at time $t$ . The figure is an example of inserting a VQ layer (area inside the dashed box) bet

実験結果

リサーチクエスチョン

• RQ1 ベクトル量子化によるモデル容量の制限を施した場合、APC表現にどのような情報が保持されるか？
• RQ2 モデル容量を低下させると、表現における音声的および話者情報の有無はどのように変化するか？
• RQ3 VQ-APCが生成する離散的コードは、英語の音素のような意味のある言語的単位に対応しているか？
• RQ4 自己教師あり予測損失を最小化することと、学習された表現の下流タスク性能の間にはどのような関係があるか？
• RQ5 VQ-APCは、他の自己教師ありモデルと比較して、表現の質や情報含量において優れているか？

主な発見

• 音声分類タスクにおいて、VQ-APCは28.4%の音素誤り率を達成し、APC（33.3%）およびMT-APC（30.5%）を上回り、VQが表現品質の向上に有効であることを示した。
• 話者分類タスクでは、VQ-APCは5.5%の誤り率を達成し、APC（8.5%）およびMT-APC（7.3%）を上回り、最も優れた性能を示したモデルであるMockingjay（5.1%）と同等の性能を示した。
• 相互情報推定の結果、コードブックが大きくなるに従い情報含量が増加する傾向が示された：コードブックサイズが1, 2, 3の場合の正規化相互情報量は、それぞれ0.167, 0.285, 0.406であった。
• プローブタスクの結果、大きなコードブックを用いた構成では音声的および話者情報が表現に存在することが確認された一方、小さな構成ではその情報が存在しないことが相互情報推定によって裏付けられた。
• 特定のモデル容量における学習済みVQコードは、英語の音素と強く対応しており、学習された離散的単位が言語的に意味を持つことが示唆された。
• 容量制限が施された状況では、音声的および話者情報の保持がモデルに優先的に促進される傾向を示し、ボトルネック下で自己教師あり目的関数が暗黙的にこのような情報を好むことが示された。

Figure 2: Training loss (purple), phonetic classification (red), and speaker classification (blue) results of VQ-APC with VQ configuration $\{3\}$ using varying codebook sizes. The x-axis is the codebook size, decreasing from 2048 to 64, and the y-axis on the left is the corresponding phone error ra