[論文レビュー] Learning to encode motion using spatio-temporal synchrony

Kishore Konda, Roland Memisevic+1 more|arXiv (Cornell University)|Jun 13, 2013

Advanced Vision and Imaging参考文献 30被引用数 10

ひとこと要約

本稿では、単一層の自己符号化器における乗法的ゲーティングを用いて、画像フレームと学習済みフィルタ間の空間的・時系列的同期を検出することにより、動画内の動き特徴を学習する新規手法を提案する。動き推定をコントラクト型正則化を施した同期検出問題として定式化することで、従来のディープラーニング手法に比べて大幅に短時間でCPU上で競争力ある動き推定性能を達成し、手作業で設計された空間的・時系列的特徴を上回る。

ABSTRACT

We consider the task of learning to extract motion from videos. To this end, we show that the detection of spatial transformations can be viewed as the detection of synchrony between the image sequence and a sequence of features undergoing the motion we wish to detect. We show that learning about synchrony is possible using very fast, local learning rules, by introducing multiplicative "gating" interactions between hidden units across frames. This makes it possible to achieve competitive performance in a wide variety of motion estimation tasks, using a small fraction of the time required to learn features, and to outperform hand-crafted spatio-temporal features by a large margin. We also show how learning about synchrony can be viewed as performing greedy parameter estimation in the well-known motion energy model.

研究の動機と目的

• 標準的なディープラーニングモデル（自己符号化器やK-means）が意味のあるフィルタを生成できない動画シーケンスから効果的な動き特徴を学習する課題に対処すること。
• エネルギーモデルやICAが動画でうまく機能するのに対し、他のモデルが機能しない理由を、動き符号化における同期検出の役割を特定することで説明すること。
• 動き検出と不変性を分離する新しい学習フレームワークを提案し、より高速で効率的な特徴学習を可能にすること。
• 動き推定を同期検出の観点から見直すことで、動きエネルギー・モデルにおけるグリーディパラメータ推定の一種として再解釈できることを示すこと。

提案手法

• 本手法は、2つのフレーム間のフィルタ応答の要素ごとの積として動き表現を計算する単層同期自己符号化器（SAE）を用いる：$ \vec{h} = \sigma(\vec{f}^x \odot \vec{f}^y) $、ここで$ \vec{f}^x = \mathbf{W}^x \vec{x} $、$ \vec{f}^y = \mathbf{W}^y \vec{y} $。
• 動きは、$ \vec{w}_2 = P\vec{w}_1 $ となるフィルタ $ \vec{w}_1, \vec{w}_2 $ を特定することで検出され、ここで $ P $ はフレーム間の直交変換（例えば、平行移動）を表し、空間的・時系列的同期を検出可能にする。
• モデルは再構成損失を用いて訓練され、$ \|\vec{x} - \hat{\vec{x}}\|^2 + \|\vec{y} - \hat{\vec{y}}\|^2 $ を最小化する。ここで $ \hat{\vec{x}} = (\mathbf{W}^x)^T (\vec{h} \odot \vec{f}^y) $ であり、ゲーティングされた隠れ状態を用いて入力を再構成する。
• コントラクト型正則化は、隠れ表現のヤコビアンのフロベニウスノルムを最小化することで適用され、$ \|J_e(\vec{x},\vec{y})\|^2_E $ と表される。これにより、頑健でスパースな特徴学習が促進される。
• 重み $ \mathbf{W}^x $ と $ \mathbf{W}^y $ を共有の $ \mathbf{W} $ に固定することで、本フレームワークは動画シーケンスに一般化可能となり、$ H_q = \sigma\left( \left( \sum_t \vec{w}_{qt}^T \vec{x}_t \right)^2 \right) $ を計算することで複数フレームにわたる時間的同期を捉える。
• 特徴学習後に別個のプーリング層を適用することで、動き表現におけるコンテンツ依存バイアスを回避し、コンテンツに依存しない学習の効率性を維持する。

実験結果

リサーチクエスチョン

• RQ1 なぜエネルギー・モデルやICAは動画から動き特徴を学習できるのに対し、標準的な自己符号化器やK-meansは失敗するのか？
• RQ2 動き推定を、画像シーケンスと学習済みフィルタ間の空間的・時系列的同期検出として再解釈できるか？
• RQ3 動き学習を同期検出として定式化することで、エンドツーエンドのディープラーニングに比べ、より高速で効率的な特徴学習が可能になるか？
• RQ4 学習フレームワークにおいて、画像コンテンツや位相に対する不変性と動き検出をどのように分離できるか？
• RQ5 コントラクト型正則化を単層バイリニアモデルに効果的に適用できるか、特徴品質と一般化性能の向上に寄与するか？

主な発見

• 提案された同期自己符号化器（SAE）は、CPUベースでの学習のみで標準ベンチマークで競争力ある動き推定性能を達成し、従来のディープラーニング手法に比べて著しく短時間で完了する。
• 本手法は手作業で設計された空間的・時系列的特徴を大きく上回り、多様な動き推定タスクにおいて優れた一般化性能を示す。
• 単層アーキテクチャのおかげで、SAEにコントラクト型正則化を効果的に適用でき、深層バイリニアモデルでは不可能なスパースで頑健な特徴学習が可能になる。
• コンテンツ依存性を分離することでモデル性能が向上する：まずコンテンツに依存しない特徴学習を行い、その後プーリング層を適用して位相およびコンテンツバイアスを除去する。
• 本フレームワークにより、古典的な動きエネルギー・モデルが同期検出によるグリーディパラメータ推定の一種として再解釈され、動き符号化の2つの主要な側面が統合される。
• 重みを固定し、時間的応答の二乗を計算することで、本手法は複数フレームのシーケンスに一般化可能であり、効率性と性能を維持する。