[論文レビュー] Gradient-based Training of Slow Feature Analysis by Differentiable Approximate Whitening

Merlin Schüler, Hlynur Davíð Hlynsson+1 more|arXiv (Cornell University)|Aug 27, 2018

Neural dynamics and brain function参考文献 40被引用数 6

ひとこと要約

この論文では、微分可能で勾配ベースの方法として、高次元データから時間的に遅い特徴を抽出するための、微分可能な方法によるホワイトニング近似を用いた Power Slow Feature Analysis (PowerSFA) を提案する。これにより、深層アーキテクチャのエンド・ツー・エンド学習が可能となり、合成的・エゴビジョナル・グラフベースの類似度データにおいて、高品質で重複のない特徴を効果的に学習できる。

ABSTRACT

We propose Power Slow Feature Analysis, a gradient-based method to extract temporally slow features from a high-dimensional input stream that varies on a faster time-scale, as a variant of Slow Feature Analysis (SFA) that allows end-to-end training of arbitrary differentiable architectures and thereby significantly extends the class of models that can effectively be used for slow feature extraction. We provide experimental evidence that PowerSFA is able to extract meaningful and informative low-dimensional features in the case of (a) synthetic low-dimensional data, (b) ego-visual data, and also for (c) a general dataset for which symmetric non-temporal similarities between points can be defined.

研究の動機と目的

• 古典的SFAが固定された手動で選択された基底関数に依存しており、深層アーキテクチャとエンド・ツー・エンドで学習できないという制限を克服すること。
• ホワイトニングステップを微分可能にすることで、任意の微分可能なモデルのエンド・ツー・エンド学習による遅い特徴抽出を可能にすること。
• 勾配ベースのSFAに微分可能なホワイトニングを組み合わせることで、時系列データや類似度ベースのデータを含む多様なデータタイプから意味的で非冗長かつ情報豊富な低次元特徴を抽出できることを示すこと。
• PowerSFAが、教師なしで生の視覚入力から3次元環境における位置や姿勢といった不変表現を直接学習できることを示すこと。
• SFAの適用範囲を逐次的データに限らないように拡張し、グラフベースの類似度構造へ一般化することで、方位角や仰角のような分離可能な構成パラメータを保持すること。

提案手法

• 微分可能なホワイトニング近似に置き換えることで、勾配ベースの最適化が可能なSFAの変種であるPowerSFAを提案する。
• バッチ単位の共分散行列推定を用いて、バックプロパゲーションを通じて微分可能なホワイトニング変換を計算する。
• スローネス目的関数を勾配降下法で最小化しつつ、微分可能なホワイトニングによって非冗長性を強制する。
• 現在のバッチと共分散行列の凸結合を用いて訓練を安定化させ、最小バッチサイズを低減するが、主な実験では使用しない。
• CNNなどの深層ニューラルネットワークにこの手法を統合し、エゴビジョナル時系列データから遅い不変特徴を学習する。
• データポイント間の対称的類似度を定義することで、非時系列データへの一般化を図り、微分可能なホワイトニングを用いたグラフベースSFAを実現する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なホワイトニングは、古典的SFAの制限を克服し、深層アーキテクチャのエンド・ツー・エンド学習による遅い特徴抽出を可能にできるか？
• RQ2 勾配ベースの最適化を用いて、合成的時系列データから意味的で非冗長かつ情報豊富な特徴をPowerSFAが抽出できるか？
• RQ3 PowerSFAは、教師なしでエゴビジョナル時系列データから空間的に不変な表現（例：位置や姿勢）を学習できるか？
• RQ4 対称的類似度構造を活用することで、非時系列データへ一般化可能であり、方位角や仰角のような分離可能な構成パラメータを保持できるか？
• RQ5 微分可能なホワイトニングステップは、損失関数に依存せず非冗長な出力特徴を保証するか？これにより、教師なし表現学習への広範な適用が可能になるか？

主な発見

• PowerSFAは、合成的低次元時系列データから、線形特徴が閉形式SFAの最適解に非常に近づく遅い情報豊富な特徴を効果的に抽出できた。
• 3次元環境からのエゴビジョナルデータにおいて、PowerSFAは素早く変化する視覚的回転に対して不変な表現を学習し、シリンダ型埋め込みで位置と姿勢を捉えた。
• 非時系列画像データセットにおいて、方位角と仰角の分離された表現が得られ、未観測の設定に対しても良好に一般化した。
• 学習済み特徴にICAを適用したところ、哺乳類海馬で観察される場所細胞様の活動パターンを再現した。これは生物学的妥当性を示唆する。
• 微分可能なホワイトニングは、損失関数に依存せず非冗長な出力特徴を保証するため、さまざまな教師なし学習原理への応用が可能である。
• 現在のところ、バッチサイズの制約と共分散行列演算の高コストにより、出力特徴数の増加に伴いスケーリングが著しく悪化しているが、バッチ共分散混合がその緩和への潜在的解決策である。