[論文レビュー] The role of spatio-temporal synchrony in the encoding of motion

Kishore Konda, Roland Memisevic+1 more|arXiv (Cornell University)|Jan 1, 2013

Advanced Vision and Imaging被引用数 2

ひとこと要約

この論文は、動画フレームと内部特徴表現の間の空間時間的同期の検出として運動検出を定式化する生物学的にインspiredな学習フレームワークを提案する。時間的な隠れユニット間の乗法的ゲーティングを用いることで、バックプロパゲーションよりも数個のオーダー速く運動特徴を学習し、手作業で作成された空間時間的特徴を上回り、運動エネルギーモデルにおけるグリーディパラメータ推定として解釈可能である。

ABSTRACT

We consider the task of learning to extract motion from videos. To this end, we show that the detection of spatial transformations can be viewed as the detection of synchrony between the image sequence and a sequence of features undergoing the motion we wish to detect. We show that learning about synchrony is possible using very fast, local learning rules, by introducing multiplicative gating interactions between hidden units across frames. This makes it possible to achieve competitive performance in a wide variety of motion estimation tasks, using a small fraction of the time required to learn features, and to outperform hand-crafted spatio-temporal features by a large margin. We also show how learning about synchrony can be viewed as performing greedy parameter estimation in the well-known motion energy model.

研究の動機と目的

• 動画シーケンスにおける運動推定のための高速で局所的な学習メカニズムの開発。
• 入力フレームと内部特徴ダイナミクスの間の同期の検出として運動検出を定式化すること。
• 標準的なディープラーニング手法と比較して最小限の学習時間で競争力のある運動推定性能を達成すること。
• 提案された学習ルールを、よく知られた運動エネルギーモデルとの間にグリーディパラメータ推定を介して結びつけること。

提案手法

• 入力画像シーケンスと運動を遂げる内部特徴表現の間の同期の検出として運動検出を定式化する。
• 連続する動画フレーム間の隠れユニット間に乗法的ゲーティングを導入し、空間時間的依存関係を符号化する。
• 時間経過にわたる事前・事後シナプス活動に基づいて重みを更新する局所的でヘブ的な学習ルールを用いる。
• バックプロパゲーションを時間方向に適用しない高速でオンラインの学習ルールを用いてネットワークを訓練する。
• 学習プロセスを運動エネルギーモデルにおけるグリーディパラメータ推定として形式化する。
• 標準的なバックプロパゲーションに比べてはるかに短い時間で運動特徴を学習できることを示す。

実験結果

リサーチクエスチョン

• RQ1 入力と内部特徴の間の空間時間的同期の検出として、運動検出を効果的に定式化できるか？
• RQ2 バックプロパゲーションを避けて、動画シーケンスにおける運動を捉えるために、局所的で高速な学習ルールをどのように設計できるか？
• RQ3 このようなモデルが、手作業で作成された空間時間的特徴をどの程度上回ることができるか？
• RQ4 提案された学習ルールは、古典的な運動エネルギーモデルとどのように関係しているか？
• RQ5 モデルは著しく短い学習時間で競争力のある性能を達成できるか？

主な発見

• 提案手法は、標準的なバックプロパゲーションベースの手法に比べて必要な学習時間のわずか数パーセントで、競争力のある運動推定性能を達成する。
• 複数の運動推定タスクにおいて、手作業で作成された空間時間的特徴を大幅に上回る性能を示す。
• 乗法的ゲーティングに基づく学習ルールは、高速で局所的かつ生物学的に妥当な特徴学習を可能にする。
• この手法は、運動エネルギーモデルにおけるグリーディパラメータ推定として解釈でき、既に確立された理論的枠組みと結びつく。
• フレームと内部特徴の間の同期検出が、運動符号化のための強力で効率的な原理であることが、このフレームワークによって示された。