[論文レビュー] Unsupervised learning of depth and motion

Kishore Konda, Roland Memisevic|arXiv (Cornell University)|Dec 12, 2013

Advanced Vision and Imaging参考文献 17被引用数 38

ひとこと要約

本論文は、生物学的に妥当な複合細胞エネルギーモデルを模倣して、単一のアーキテクチャと学習ルールを用いて、深度と運動の表現を同時に学ぶ教師なし深層学習フレームワークを提案する。乗法的相互作用を用いて時空間的同期を検出し、プーリングにより不変性を達成することで、手作業で特徴を設計しない3次元アクティビティ認識で最先端の性能を達成し、従来手法を大きく上回る。

ABSTRACT

We present a model for the joint estimation of disparity and motion. The model is based on learning about the interrelations between images from multiple cameras, multiple frames in a video, or the combination of both. We show that learning depth and motion cues, as well as their combinations, from data is possible within a single type of architecture and a single type of learning algorithm, by using biologically inspired "complex cell" like units, which encode correlations between the pixels across image pairs. Our experimental results show that the learning of depth and motion makes it possible to achieve state-of-the-art performance in 3-D activity analysis, and to outperform existing hand-engineered 3-D motion features by a very large margin.

研究の動機と目的

• 教師なしの条件下で、動画データから深度と運動の手がかりを同時に学ぶ統合された深層学習フレームワークを開発すること。
• 同じニューラルアーキテクチャと学習アルゴリズムが、生物学的インスピレーションを受けるエネルギーモデルを用いて、ステレオペアからの深度（depth）と時系列からの運動（motion）の両方をモデル化できるかどうかを検証すること。
• 教師なし特徴学習が、手作業で設計された3次元運動特徴を上回る競争力のある3次元表現を生成できることを実証すること。
• 複数カメラの動画解析における、統合された表現空間における深度と運動特徴の組み合わせの有効性を評価すること。

提案手法

• モデルは、時空間的同期を検出するための乗法的相互作用を有する1層のオートエンコーダーを用い、複合細胞エネルギーモデルを模倣する。
• 隠れ応答にプーリング層を適用することで不変性を達成し、画像ペアや時間フレームにわたる特徴符号化の強靭性を向上させる。
• 共有重みと1つの学習ルールを用いて、多視点および多フレームデータ内の相関を通じて、深度と運動を暗黙的に学習する。
• 正確な特徴応答を明示的な深度マップに変換するために、真値データを用いたキャリブレーションにより深度を明示的に回復する。
• 注目点（N-Th、Ct、Av）を用いて特徴表現を精緻化し、分類性能を向上させる。
• 平均精度と正しく分類された割合を指標として用い、Hollywood3Dデータセット上で手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 単一の深層学習アーキテクチャと学習ルールが、教師なし動画データから深度と運動の表現を同時に学習できるか？
• RQ2 共同で学習された深度と運動特徴は、手作業で設計された3次元運動特徴と比較して、3次元アクティビティ認識の性能をどの程度向上させるか？
• RQ3 注目点の種別（N-Th、Ct、Av）が、共同深度・運動モデルの性能にどのように影響を与えるか？
• RQ4 3次元アクティビティ認識において、異なる行動クラスに対して、深度、運動、またはその組み合わせのどのモodal が最も効果的か？

主な発見

• SAE-MD(Av)モデルは、Hollywood3Dデータセットで平均平均精度26.11%を達成し、3D-Ha（12.6%）や4D-Ha（13.3%）といったベースライン手法を著しく上回った。
• 注目点（例：N-Th）を用いたモデルは、それらを用いないモデルに比べて一貫して性能向上を示し、SAE-MD(Av)は26.11%のAPおよび30.13%の正しく分類された割合を達成した。
• Run、Shoot、Eatといった特定の行動クラスでは、深度特徴のみが最高のAPを示したが、NoActionやKissのクラスでは運動特徴のみが最良の結果を出した。
• 大多数のクラスにおいて、深度と運動特徴の組み合わせが最良の性能を達成し、3次元アクティビティ認識におけるマルチモーダル統合の価値を示した。
• 手作業で設計された3次元運動特徴を一切使用せずに、最先端の性能を達成した。これは、深度と運動の教師なし共同学習の有効性を裏付けた。