[論文レビュー] Representation Learning for Sequence Data with Deep Autoencoding Predictive Components

Junwen Bai, Weiran Wang+2 more|arXiv (Cornell University)|Oct 6, 2020

Speech Recognition and Synthesis参考文献 61被引用数 6

ひとこと要約

本稿では、過去と未来のウィンドウ間の相互情報量を正確なガウス分布に基づく推定により、負例サンプリングを回避しながら、潜在空間における予測情報量を最大化する、自己教師あり表現学習手法であるDeep Autoencoding Predictive Components（DAPC）を提案する。この手法は、退化を防ぐためにマスクされた再構成損失と組み合わせられ、最小限の事前学習コストで自動音声認識（ASR）で最先端の結果を達成する。

ABSTRACT

We propose Deep Autoencoding Predictive Components (DAPC) -- a self-supervised representation learning method for sequence data, based on the intuition that useful representations of sequence data should exhibit a simple structure in the latent space. We encourage this latent structure by maximizing an estimate of predictive information of latent feature sequences, which is the mutual information between past and future windows at each time step. In contrast to the mutual information lower bound commonly used by contrastive learning, the estimate of predictive information we adopt is exact under a Gaussian assumption. Additionally, it can be computed without negative sampling. To reduce the degeneracy of the latent space extracted by powerful encoders and keep useful information from the inputs, we regularize predictive information learning with a challenging masked reconstruction loss. We demonstrate that our method recovers the latent space of noisy dynamical systems, extracts predictive features for forecasting tasks, and improves automatic speech recognition when used to pretrain the encoder on large amounts of unlabeled data.

研究の動機と目的

• 対照学習に依存せずに、潜在的なダイナミクスを捉えることができる系列データ向け自己教師あり表現学習手法の開発。
• 強力なエンコーダーを用いた予測情報量最大化における潜在表現の退化問題を、予測情報量最大化とマスク再構成の組み合わせによって緩和すること。
• ガウス分布の仮定の下で、予測情報量の正確で扱いやすい推定を提供し、負例サンプリングの必要性を回避すること。
• 有効な事前学習により、予測および自動音声認識における下流タスクのパフォーマンスを向上させること。
• 系列モデルにおける対照学習の一般化された代替手法を提供し、より高いデータ利用効率を実現すること。

提案手法

• DAPCは、ガウス分布の仮定の下で正確な相互情報量推定を用いて、過去と未来の潜在ウィンドウ間の予測情報量（PI）を最大化し、負例サンプリングの必要性を排除する。
• この手法は、入力系列を潜在表現にマップする深層エンコーダーを用い、潜在系列の長さは入力と一致する。
• 入力特徴および時間セグメントをランダムにマスクし、潜在コードから再構成することで、マスクされた再構成損失が適用され、入力情報の保持が促進される。
• 予測情報量最大化とマスク再構成を統合した一つの訓練目的に統合され、変分推論の解釈が可能である。
• 性能向上を目的として、マルチスケールの予測情報量とずらされた再構成のバリエーションがサポートされる。
• モデルはバックプロパゲーションを用いてエンドツーエンドで訓練され、最終的なエンコーダーは限られたラベル付きデータで下流タスクにファインチューニングされる。

実験結果

リサーチクエスチョン

• RQ1 ガウス分布の仮定の下での予測情報量推定は、系列表現学習において対照学習のより正確で扱いやすい代替手段を提供できるか？
• RQ2 強力なエンコーダーを用いた予測情報量最大化において、潜在表現の退化問題をどのように緩和できるか？
• RQ3 予測情報量最大化とマスク再構成を組み合わせることで、多様な系列タスクにおける表現品質がどの程度向上するか？
• RQ4 DAPCは、顕著に少ないラベル付きデータと小型モデルサイズで、自動音声認識（ASR）で最先端のパフォーマンスを達成できるか？
• RQ5 CPC や wav2vec、vq-wav2vec といった既存の自己教師あり手法と比較して、DAPC は下流タスクの精度と効率性においてどのように差をつけるか？

主な発見

• WSJデータセットでは、マルチスケールPIとずらされた再構成を併用したDAPCは、事前学習なしのベースラインと比較して、eval92で11.7%、dev93で7.9%のWER低減を達成した。
• LibriSpeechでは、最良のDAPCバージョンがtest_cleanでWER 4.70%を達成し、ベースライン比で相対的に15%の改善を示し、マスク再構成のみの手法と比較して絶対的に8%の改善を示した。
• アブレーションスタディの結果、マルチスケールPIとずらされた再構成の併用が最良のパフォーマンスをもたらし、15時間のデータでファインチューニングした際、eval92でのWERが11.7%低減された。
• DAPCは、wav2vec 2.0（300Mパラメータ）と比較して、約3000万パラメータの小型モデルで競争力のあるパフォーマンスを示しており、高いデータ利用効率を示している。
• 合成実験では、高次元でノイズの多い力学的システムから低次元のダイナミクスを効果的に回復でき、その背後にある構造を分離可能であることを示した。
• DAPCを変分オートエンコーダーとしての確率的解釈により、予測目的を備えたものと見なすことで、理論的根拠が得られ、深層生成モデルと関連づけられる。