[論文レビュー] Acoustic Feature Learning via Deep Variational Canonical Correlation Analysis

Qingming Tang, Weiran Wang+1 more|arXiv (Cornell University)|Aug 11, 2017

Music and Audio Processing参考文献 26被引用数 5

ひとこと要約

本稿では、音声と発音データのペアから頑健な音声特徴を学習するため、プライベート変数を備えた深層変分型共通相関分析（VCCAP）と、学習された事前分布および adversarial 学習を用いた拡張手法を提案する。VCCAP は、MFCC や先行手法を上回る性能を示し、特に学習された事前分布を用いた large context window において顕著な改善を達成する。

ABSTRACT

We study the problem of acoustic feature learning in the setting where we have access to another (non-acoustic) modality for feature learning but not at test time. We use deep variational canonical correlation analysis (VCCA), a recently proposed deep generative method for multi-view representation learning. We also extend VCCA with improved latent variable priors and with adversarial learning. Compared to other techniques for multi-view feature learning, VCCA's advantages include an intuitive latent variable interpretation and a variational lower bound objective that can be trained end-to-end efficiently. We compare VCCA and its extensions with previous feature learning methods on the University of Wisconsin X-ray Microbeam Database, and show that VCCA-based feature learning improves over previous methods for speaker-independent phonetic recognition.

研究の動機と目的

• テスト時に音声データのみが利用可能である状況において、訓練時に非音声的モダリティ（発音データ）を用いて判別性の高い音声特徴を学習する課題に対処すること。
• 共有情報とモダリティ固有の情報を両方モデル化するため、ビューワイズのプライベート変数を組み込んだ深層変分型CCA（VCCA）を拡張すること。
• 学習された事前分布と adversarial 学習を導入することで、大規模なコンテキスト入力に対する一般化性能を向上させること。
• ウィスコンシン大学X線マイクロビークルデータベースを用いて、発話者独立型発音認識の評価を実施すること。
• 深層生成的マルチビュー学習が、音声応用において従来の単一ビューおよびマルチビュー特徴学習を上回る可能性があるかどうかを調査すること。

提案手法

• VCCAP は、共有潜在変数 z とビューワイズのプライベート変数 hx および hy を用いて、音声と発音の2つのビューをモデル化し、p(x|z,hx) および p(y|z,hy) を深層ニューラルネットワークでパラメータライズする。
• モデルは対数尤度の変分下界を最適化することで、確率的勾配降下法を用いたエンドツーエンド学習を可能にする。
• 学習された事前分布を導入するため、小さなコンテキスト窓（W=35）からの事後分布を用いて、大きな窓（W=71）の事前分布を初期化する。これにより、一般化性能が向上する。
• KLダイバージェンス項に重み（β=10）を付与することで、大規模コンテキスト学習における分離性と安定性を高める。
• 生成された特徴の品質を向上させるために、識別器 D1 と D2 を用いた adversarial 学習を適用するが、性能向上は限定的で不安定である。
• 最終的な特徴は共有 z 空間から抽出され、HMM/GMM または CTC を用いた発音認識器に使用される。

実験結果

リサーチクエスチョン

• RQ1 プライベート変数を備えた深層変分型CCA（VCCAP）は、MFCC や DCCA といった従来手法よりも、より頑健な音声特徴を学習できるか？
• RQ2 大規模な入力コンテキスト窓を用いた音声特徴学習において、学習された事前分布を組み込むことで性能がどのように向上するか？
• RQ3 adversarial 学習は、音声特徴の品質および下流の認識精度において一貫した向上をもたらすか？
• RQ4 prior adaptation を組み合わせた場合、VCCAP は大規模コンテキスト窓（例：W=71）を効果的に活用し、発音認識を向上させられるか？
• RQ5 ビューワイズのプライベート変数は特徴品質にどの程度寄与しているか、また今後の発話生成タスクで活用可能か？

主な発見

• VCCAP は基本的な VCCA や対照的学習、DCCA 手法を上回り、学習された事前分布を用いた W=71 フレームのコンテキスト窓で開発セットの PER が 13.2% に達する。
• 標準的な N(0,I) 事前分布を用いた場合、W=15 で性能が頭打ちとなり、W=71 で劣化するが、学習された事前分布を用いることで顕著に改善する。
• KLダイバージェンスの重み（β=10）を増加させることで、特に学習された事前分布と組み合わせた場合、大規模窓での性能が向上する。
• adversarial 学習を組み込んだ拡張（VCCAP+GAN）は僅かな向上（0.1–0.4% PER の改善）しか得られず、事前分布学習に比べて安定性に欠ける。
• 最も優れたモデルは、W=71 と学習された事前分布を用いて開発セットの PER が 13.2% に達し、大規模コンテキスト学習における事前分布適応の有効性を示している。
• 結果から、今後の研究において再帰的モデルが非常に長いコンテキスト窓を扱うのに有益である可能性が示唆される。