[論文レビュー] Hidden Markov Nonlinear ICA: Unsupervised Learning from Nonstationary Time Series

Hermanni Hälvä, Aapo Hyvärinen|arXiv (Cornell University)|Jun 22, 2020

Blind Source Separation Techniques参考文献 25被引用数 17

ひとこと要約

本稿では、非定常時系列の手動セグメンテーションを、時間変動するデータ分布をモデル化するための潜在的隠れマルコフモデル（HMM）に置き換える、完全に教師なしのフレームワーク「隠れマルコフ非線形ICA」を提案する。非線形ICAにHMMを統合することで、同定可能性が達成され、EMを用いたエンドツーエンド学習が可能となり、合成データ上での独立成分の回復および時間的ダイナミクスのモデル化において、先行手法（TCL）を上回る性能を発揮する。

ABSTRACT

Recent advances in nonlinear Independent Component Analysis (ICA) provide a principled framework for unsupervised feature learning and disentanglement. The central idea in such works is that the latent components are assumed to be independent conditional on some observed auxiliary variables, such as the time-segment index. This requires manual segmentation of data into non-stationary segments which is computationally expensive, inaccurate and often impossible. These models are thus not fully unsupervised. We remedy these limitations by combining nonlinear ICA with a Hidden Markov Model, resulting in a model where a latent state acts in place of the observed segment-index. We prove identifiability of the proposed model for a general mixing nonlinearity, such as a neural network. We also show how maximum likelihood estimation of the model can be done using the expectation-maximization algorithm. Thus, we achieve a new nonlinear ICA framework which is unsupervised, more efficient, as well as able to model underlying temporal dynamics.

研究の動機と目的

• 非定常データに対して観測された補助変数（セグメントインデックスなど）を必要とする従来の非線形ICA手法の制限を解消すること。
• 手動セグメンテーションを一切行わず、データから潜在的時間的状態を推論する完全に教師なしのフレームワークを開発すること。
• 条件付き変数が観測されず潜在的である場合の独立成分の同定可能性を確保すること。
• 少数の隠れ状態を用いて繰り返し現れる非定常ダイナミクスを効率的にモデル化すること。
• 時系列データにおける教師なし表現学習と時間的ダイナミクス推論の統合フレームワークを提供すること。

提案手法

• 非線形ICAフレームワークに、観測されたセグメントインデックスの代わりに潜在的隠れマルコフモデル（HMM）を条件付き変数として統合する。
• HMMを用いて、マルコフ遷移ダイナミクスを持つ離散的潜在状態によって、時間に依存するデータ分布をモデル化する。
• Hyvärinenら（2019）の理論的結果を拡張することで、一般の混合非線形性（深層ニューラルネットワークを含む）のもとでモデルの同定可能性を証明する。
• 最尤推定のための期待最大化（EM）アルゴリズムを採用し、Mステップではミニバッチの部分列を用いてAdam最適化器を適用する。
• 逆混合関数を、leaky ReLU活性化関数を用いた深層パーセプトロン（MLP）でパラメータライズし、層間で重み共有を実装する。
• モデル学習後、最も確率の高い潜在状態の系列を推定するためにViterbiアルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 観測されたセグメントインデックスを潜在的HMMに置き換えることで、非線形ICAモデルを完全に教師なしにできるか？
• RQ2 条件付き変数が観測されずHMMによって推論される場合でも、独立成分の同定可能性は保持されるか？
• RQ3 提案手法は、TCLなどの先行手法よりも、非定常時系列からの真の独立成分をよりよく回復できるか？
• RQ4 モデルは、潜在状態の背後にある時間的ダイナミクスをどの程度学習し、再構築できるか？
• RQ5 固定された手動セグメンテーション区間と比較して、潜在的HMMの使用は推定の効率性と正確性を向上させるか？

主な発見

• 提案された隠れマルコフ非線形ICAモデルは、特に非線形性が強い場合（L=4）において、TCLを著しく上回り、全テスト設定で真の独立成分の回復性能が優れている。
• N=5およびC=11の場合、線形ICAでは潜在状態分類がほぼ完璧な精度（100％に近い）を達成し、L=2では80％、L=4では68％の精度を示しており、良好な時間的ダイナミクス回復を示している。
• 状態数が少なくかつ時間的に繰り返される中で、真の背後ダイナミクスを反映した形で、潜在状態を効果的に同定・クラスタリングしている。
• EMアルゴリズムにおける確率的ミニバッチの使用により、収束が速くなり、実用的なスケーラビリティが実証された。
• 一般の混合非線形性（深層ニューラルネットワークを含む）のもとでモデルの同定可能性が理論的に証明され、理論的整合性が確立された。
• フレームワークにより、分離可能な特徴量と時間的ダイナミクスの両方を同時に学習でき、非定常データにおける教師なし表現学習に対してより原理的かつ効率的なアプローチを提供する。