[論文レビュー] Temporal Autoencoding Restricted Boltzmann Machine

Chris Häusler, Alex Susemihl|arXiv (Cornell University)|Oct 31, 2012

Image Enhancement Techniques参考文献 24被引用数 9

ひとこと要約

本稿では、自己符号化による事前学習と時系列制限ボルツマンマシンを統合することで、自然な映像から解釈可能な変化する空間時間的特徴を学習する、新たな深層学習モデルである時系列自己符号化制限ボルツマンマシン（TARBM）を提案する。自己符号化による時系列重みの初期化と構造化された前方射影を施すことで、回転や平行移動などの変換を経て時間的に変化するガボール類似フィルタを学習し、時系列的ダイナミクスと解釈可能性の両面で従来のCRBMを凌駕する。

ABSTRACT

Much work has been done refining and characterizing the receptive fields learned by deep learning algorithms. A lot of this work has focused on the development of Gabor-like filters learned when enforcing sparsity constraints on a natural image dataset. Little work however has investigated how these filters might expand to the temporal domain, namely through training on natural movies. Here we investigate exactly this problem in established temporal deep learning algorithms as well as a new learning paradigm suggested here, the Temporal Autoencoding Restricted Boltzmann Machine (TARBM).

研究の動機と目的

• 自然な映像データを用いて、静的画像からの教師なし特徴学習を時系列領域へ拡張すること。
• 従来の時系列モデル（例：CRBM）に見られる解釈可能性の欠如と長距離時系列依存性の欠如を解決すること。
• 自己符号化と時系列RBMsを組み合わせた、特徴の進化をより良くモデル化できる新規アーキテクチャ（TARBM）の開発。
• 学習された特徴が時間経過とともにどのように変化するかを可視化・解釈可能にする。これは、皮質の受容野ダイナミクスを模倣する。

提案手法

• 標準的な自己符号化器を用いて可視層から隠れ層および逆方向の再構成を実行する二重ストリームアーキテクチャを有するTARBMを提案。
• TARBMにおける時系列重み行列 $\mathbf{w}_1$ を自己符号化器の重みで初期化することで、意味のある空間的特徴からモデルを開始する。
• ある遅延時間ステップにおける特定の隠れユニットから出発し、時間経過に伴う隠れユニット活性化の最も確実な系列を追跡する前方射影法を適用。
• 各ステップで最も確実な $n$ 個のユニットを選択し、複数の遅延ステップにわたる隠れユニットの確率的進化を木構造による可視化でマッピング。
• 時系列RBMs部の学習には対照的勾配法を用い、スパarsity制約とミニバッチ最適化を組み合わせて学習の安定化を図る。
• 受容野の時間的進化を投影することで、時系列フィルタを可視化し、回転や平行移動などの変換が観察される。

実験結果

リサーチクエスチョン

• RQ1 教師なし特徴学習を静的画像から自然な動画シーケンスへどのように拡張できるか？
• RQ2 自己符号化による事前学習は、制限ボルツマンマシンにおける時系列特徴の学習をどのように改善するか？
• RQ3 TARBMの時系列フィルタは時間経過とともにどのように変化するか？また、これらの変化は空間的特徴の変換として意味的に解釈可能か？
• RQ4 TARBMは、長距離時系列依存性と特徴ダイナミクスのモデル化において、標準的なCRBMに比べてどのような利点を示すか？
• RQ5 学習された時系列フィルタは、視覚系における皮質受容野の機能的性質とどの程度類似しているか？

主な発見

• TARBMは時刻 $t$ でガボール類似の空間的フィルタを学習し、その後時間的に回転や平行移動などの構造的変換を経て変化する。
• $d=1$ を超える時間的依存性を捉えられないCRBMとは異なり、層間学習と重み初期化のおかげで、TARBMは解釈可能で長距離の時系列ダイナミクスを維持する。
• 前方射影法により、隠れユニットの時間的進化が明確に可視化され、各隠れユニットの受容野が遅延期間中に一連の変換を経て変化することが明らかになった。
• $n=3$ の場合、TARBMは複数の妥当な将来の活性化経路をモデル化でき、木構造的依存関係モデルが複雑な時系列ダイナミクスを表現できることを示している。
• CRBMのそれとは異なり、TARBMのフィルタはランダムまたは無構造的な変化ではなく、空間的特徴の整合的な変換を反映しており、より解釈可能である。
• 自己符号化と時系列RBMsの統合により、Hollywood2データセットを用いた実験で、順次運動データのモデリングおよび生成性能が顕著に向上した。