[論文レビュー] Unsupervised feature extraction by time-contrastive learning and nonlinear ICA

Aapo Hyvärinen, Hiroshi Morioka|arXiv (Cornell University)|Dec 5, 2016

Blind Source Separation Techniques参考文献 31被引用数 137

ひとこと要約

本稿では、時系列データの時間的非定常性を活用して意味のある特徴を抽出する、新しい非教師あり深層学習原理である時系列対照学習（TCL）を提案する。TCLは非線形ICAにおける同定可能性を実現し、点変換を除いて源を一意に特定可能とする。これは非線形ICAモデルにおける、初めての厳密で構成的かつ一般化された同定可能性結果である。

ABSTRACT

Nonlinear independent component analysis (ICA) provides an appealing framework for unsupervised feature learning, but the models proposed so far are not identifiable. Here, we first propose a new intuitive principle of unsupervised deep learning from time series which uses the nonstationary structure of the data. Our learning principle, time-contrastive learning (TCL), finds a representation which allows optimal discrimination of time segments (windows). Surprisingly, we show how TCL can be related to a nonlinear ICA model, when ICA is redefined to include temporal nonstationarities. In particular, we show that TCL combined with linear ICA estimates the nonlinear ICA model up to point-wise transformations of the sources, and this solution is unique — thus providing the first identifiability result for nonlinear ICA which is rigorous, constructive, as well as very general.

研究の動機と目的

• 非教師あり特徴学習における既存の非線形ICAモデルにおける同定可能性の欠如に対処すること。
• 時系列データの非定常構造を用いた、深層非教師あり学習の新しい原則を開発すること。
• 時間的非定常性を含む再定義された枠組みにおいて、時系列対照学習と非線形ICAの間の関係を確立すること。
• 非線形ICAに対して、厳密で構成的かつ一般化された同定可能性結果を提供し、源の点変換を除いて一意に推定可能であることを保証すること。

提案手法

• 時系列の異なる時間窓（時間セグメント）を対比することで表現を学習する、時系列対照学習（TCL）を提案する。
• 時間窓間の区別を促進するとともに、不変表現を保持するように設計された対照的目的関数を用いる。
• 非線形ICAを再解釈し、時間的非定常性を組み込むことで、TCLとICAフレームワークの間の接続を可能にする。
• TCLを線形ICAと組み合わせることで非線形ICAモデルを推定し、源の点変換を除いて同定可能性を保証する。
• 時間窓間の識別を最大化するとともに構造的不変性を保持する表現学習目的を採用する。
• 弱い正則性条件のもとで解が一意であることを示し、非線形ICAにおける初めての一般化された同定可能性結果を確立する。

実験結果

リサーチクエスチョン

• RQ1 時系列の時間的非定常性を活用して、非教師あり深層学習のための新しい原理を構築できるか？
• RQ2 ICAが非定常性を含むように拡張された場合、時系列対照学習を非線形ICAと正式に結びつける方法は何か？
• RQ3 TCLと線形ICAを組み合わせた解が、非線形ICAの文脈で同定可能か？
• RQ4 この枠組みにおいて、学習された表現の一意性を保証する条件は何か？
• RQ5 このアプローチは、非線形ICAモデルに対して一般的かつ構成的に同定可能であるか？

主な発見

• 時系列対照学習（TCL）は、時系列の非定常構造を活用して、時間窓を対比することで特徴を効果的に抽出する。
• TCLは、時間的非定常性を組み込んだ再定義された非線形ICAモデルと正式に結びついている。
• TCLと線形ICAの組み合わせにより、源の点変換を除いて非線形ICAの解が一意に得られる。
• この解は、非線形ICAにおいて、初めて厳密で構成的かつ一般化された同定可能性を達成した。
• この手法は、強力な理論的保証を持つ非教師あり特徴学習の新しい基盤を確立する。