[論文レビュー] Learning to Extract Motion from Videos in Convolutional Neural Networks

Damien Teney, Martial Hebert|arXiv (Cornell University)|Jan 27, 2016

Advanced Vision and Imaging参考文献 24被引用数 27

ひとこと要約

本論文では、信号処理の原則に従い、回転不変性を厳密に保つ重み共有を用いてパラメータを削減し、最小限のデータでエンド・ツー・エンドの学習を可能にする、畳み込みニューラルネットワーク（CNN）を提案する。このモデルは、複数の重複する、または透過的な運動を捉えることができる分散型の運動表現を生成し、Middleburyベンチマークで古典的手法を上回る性能を発揮する。また、動画理解タスクのためのトレーニング可能で即挿入可能なブロックとしても利用可能である。

ABSTRACT

This paper shows how to extract dense optical flow from videos with a convolutional neural network (CNN). The proposed model constitutes a potential building block for deeper architectures to allow using motion without resorting to an external algorithm, \eg for recognition in videos. We derive our network architecture from signal processing principles to provide desired invariances to image contrast, phase and texture. We constrain weights within the network to enforce strict rotation invariance and substantially reduce the number of parameters to learn. We demonstrate end-to-end training on only 8 sequences of the Middlebury dataset, orders of magnitude less than competing CNN-based motion estimation methods, and obtain comparable performance to classical methods on the Middlebury benchmark. Importantly, our method outputs a distributed representation of motion that allows representing multiple, transparent motions, and dynamic textures. Our contributions on network design and rotation invariance offer insights nonspecific to motion estimation.

研究の動機と目的

• 原始的な動画ピクセルから直接、密度的な光流を学習するCNNを開発すること。外部の光流アルゴリズムに依存しないこと。
• 少数のトレーニングシーケンスのみを用いて、深層ネットワークにおける運動推定をエンド・ツー・エンドで学習可能にする。
• 信号処理の原則に基づいたネットワークアーキテクチャを設計し、画像のコントラスト、位相、テクスチャに対して不変性を確保すること。
• 動的テクスチャーや透過的運動といった複雑な現象をモデル化できる分散型の運動表現を生成すること。
• 回転不変性を持つ重み共有がパrameter数を削減し、小規模データセットにおける汎化性能を向上させることを示すこと。

提案手法

• ネットワークは信号処理の原則に従い、特に時空間周波数成分の分析に基づき、運動の手がかりを抽出する畳み込み、プーリング、非線形関数を設計する。
• 回転不変性を確保するため、フィルタの重みを回転方向に共有する制約を課すことで、学習可能なパrameter数を顕著に削減する。
• 最初の層では、画像内の移動パターンを検出する方向性フィルタを用い、運動エネルギーの計算の基盤を形成する。
• ネットワークの最終から2番目の層は、各空間位置が複数の方向と速度における運動の証拠をエンコードする高次元の特徴マップを出力する。
• 最終段階のデコーディング層は、分散表現を標準的な光流マップに射影し、標準ベンチマークでのトレーニングおよび評価を可能にする。
• Middleburyデータセットからの真値光流を用いてエンド・ツー・エンドで学習するが、内在的な回転不変性のおかげでデータオーグメンテーションは不要である。

実験結果

リサーチクエスチョン

• RQ1 少数のトレーニングシーケンスのみを用いて、原始的な動画ピクセルからエンド・ツー・エンドで密度的な光流を抽出できるCNNを構築できるか？
• RQ2 信号処理の原則を活用することで、画像のコントラスト、位相、テクスチャに対して不変でありながら、運動に敏感なCNNを設計できるか？
• RQ3 重み共有がCNNにおける運動推定に厳密な回転不変性を強制する程度はどの程度で、その影響が一般化性能とパrameter効率に及ぼす影響は何か？
• RQ4 CNN内の分散型運動表現が、標準的な光流では捉えきれない複雑な運動現象（例：動的テクスチャー、透過的運動）を捉えることができるか？
• RQ5 このエンド・ツー・エンドで学習された運動抽出器の性能は、Middlebury や Sintel といった標準ベンチマークにおいて、古典的手法と比べてどの程度か？

主な発見

• 提案されたCNNは、わずか8つのシーケンスでの学習にもかかわらず、Middleburyベンチマークで古典的手法と同等の性能を達成した。
• 回転不変性を持つ重み共有の使用により、パrameter数が削減され、データオーグメンテーションなしで小規模データセットでも効果的な学習が可能になった。
• 最終から2番目の層における分散型運動表現は、1ピクセルに複数の運動成分を効果的に捉えることができ、透過的・重複する運動のモデル化に成功した。
• 水の波紋や蒸気などの動的テクスチャーを含むシーンでは、明度一定性の違反に失敗する従来手法とは異なり、本ネットワークはより安定的かつ一貫性のある運動推定を実現した。
• 透過的運動のシナリオにおいても、単一位置での運動証拠の多重モード分布を示す径方向可視化により、標準的な光流を上回る性能を示した。
• Sintelベンチマークでは、最先端技術に比べて性能が劣ったが、これは複雑なシーンにおける高精度な光流推定には、シーンレベルの推論や長距離マッチングが依然として必要であることを確認した。