[論文レビュー] Deep Canonically Correlated LSTMs

Neil Mallinar, Corbin Rosset|arXiv (Cornell University)|Jan 16, 2018

Time Series Analysis and Forecasting参考文献 15被引用数 6

ひとこと要約

本稿では、可変長の系列データの非線形的で時系列的な表現をLSTMで学習し、線形相関分析（CCA）を用いてそれらを共有で相関のある低次元空間に投影する、Deep Canonically Correlated LSTMs（DCC-LSTM）を提案する。この手法は、ベースライン手法よりも発音分類および再構成性能で優れており、DCCAと比較してパラメータ数を減らしながらも、L2再構成誤差を著しく低減している。

ABSTRACT

We examine Deep Canonically Correlated LSTMs as a way to learn nonlinear transformations of variable length sequences and embed them into a correlated, fixed dimensional space. We use LSTMs to transform multi-view time-series data non-linearly while learning temporal relationships within the data. We then perform correlation analysis on the outputs of these neural networks to find a correlated subspace through which we get our final representation via projection. This work follows from previous work done on Deep Canonical Correlation (DCCA), in which deep feed-forward neural networks were used to learn nonlinear transformations of data while maximizing correlation.

研究の動機と目的

• 既存の深層相関モデル（例：DCCA）が固定長の入力を必要とし、系列データにおける時系列構造を失うという制限を解決すること。
• LSTMがマルチビュー時系列データにおける時間的依存関係を効果的に学習できるか、および相関に基づく表現学習が可能かどうかを検討すること。
• 長期間の時系列的関係を保持しつつ、複数のビュー間で共有で相関のある表現を学習する手法を開発すること。
• LSTMと線形相関分析を組み合わせることで、系列データに対する教師なし表現学習の有効性を評価すること。
• 実世界の音声データを用いて、分類および再構成タスクにおいてDCC-LSTMをDCCA、KCCA、SplitAE、およびベースラインモデルと比較すること。

提案手法

• 2つのビュー（例：音声的特徴と発音的特徴）からの可変長系列データを、双方向LSTMを用いて固定次元の潜在表現に符号化する。
• LSTMの出力に対して線形相関分析（CCA）を適用し、2つのビュー間の相関を最大化する共有で相関のある部分空間を学習する。
• CCAを介してLSTMで符号化された表現を低次元空間に投影し、時系列ダイナミクスを保持しつつ、共同表現学習を可能にする。
• 教師なしでエンドツーエンドに学習を行う。この際、2つのビューの表現間の相関を最適化するが、ラベルは一切不要である。
• アブレーションスタディでは再構成目的を導入し、DCCAEと性能を比較することで、ベースラインCCAよりも優れた再構成精度を示している。
• t-SNE可視化およびk-NN分類を用いて、学習された表現のクラスタリング性能および予測性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 LSTMは、マルチビュー表現学習のための可変長系列データの非線形的で時系列的な表現を効果的に学習できるか？
• RQ2 LSTMと線形相関分析を組み合わせることで、時系列データに対して標準的なDCCAよりも優れた表現が得られるか？
• RQ3 分類精度および再構成品質の観点から、DCC-LSTMはKCCA、SplitAE、およびベースラインCCAといった他の教師なし手法と比較してどのように差をつけるか？
• RQ4 共有されるCCA空間が、発音レベルのクラスタリングをどの程度正確に保持でき、欠損しているビューの再構成をどの程度正確に可能にするか？
• RQ5 教師なし設定において、相関に基づく学習をLSTMに適用することが可能か？また、再構成のみを目的とする学習よりも優れているか？

主な発見

• DCC-LSTMは、発音分類タスクでテスト精度84.58%を達成し、ベースラインCCA（83.20%）およびKCCA（77.60%）を上回り、最良の性能を示したSplitAEと同等の性能を示した。
• 音声特徴から発音的特徴を再構成する際、20次元のCCA空間においてL2再構成誤差を43,949（ベースライン）から26,285に低減した。
• 1サンプルあたりの再構成誤差は4.395から2.6286に低下し、1ベクトル1成分あたりの誤差は0.21975から0.13143に減少した。これは再構成の忠実度が向上したことを示している。
• 上位20個の相関成分が全体の相関のおよそ50%を占めており、少数の共有次元が非常に情報量が多いことが示された。
• DCC-LSTMは、1ビューあたり400ユニットで1スピーカーあたり27±3の相関を達成したが、DCCAははるかに広いネットワーク（1800および1200ユニット）を用いても35±5の相関にとどまり、パラメータ効率が優れていることが示された。
• DCCAとは異なり、DCC-LSTMは一時停止や空白を含む系列データを適切に処理でき、自然な発話構造に対して高いロバスト性を示した。