[論文レビュー] Learning to combine depth and motion

Kishore Konda, Roland Memisevic|arXiv (Cornell University)|Dec 12, 2013

Advanced Vision and Imaging被引用数 1

ひとこと要約

本稿では、多視点および多フレーム画像データの相関を捉えるために生物学的にインspiredされた複合細胞ユニットを用いて、視差と動きを同時に推定する統合的ディープラーニングモデルを提案する。エンド・トゥ・エンドで深度と動きの特徴を学習することにより、3次元アクティビティ解析において最先端の性能を達成し、手作業で設計された3次元動き特徴を顕著に上回る。

ABSTRACT

We present a model for the joint estimation of disparity and motion. The model is based on learning about the interrelations between images from multiple cameras, multiple frames in a video, or the combination of both. We show that learning depth and motion cues, as well as their combinations, from data is possible within a single type of architecture and a single type of learning algorithm, by using biologically inspired complex cell like units, which encode correlations between the pixels across image pairs. Our experimental results show that the learning of depth and motion makes it possible to achieve state-of-the-art performance in 3-D activity analysis, and to outperform existing hand-engineered 3-D motion features by a very large margin.

研究の動機と目的

• 多視点および多フレーム動画データから視差と動きを統合的に推定するフレームワークの構築を目的とする。
• データから直接判別性の高い深度および動き表現を学習することで、手作業で設計された3次元動き特徴の限界を克服することを目的とする。
• 1つのアーキテクチャおよび学習アルゴリズムが、空間的および時間的要因の両方における画像ペア間の相関関係を効果的にモデル化できるかを検討することを目的とする。
• 深度と動きの手がかりにおける学習された相関関係を活用することで、3次元アクティビティ解析の性能を向上させることを目的とする。

提案手法

• モデルは、画像ペア間のピクセル間の相関を符号化するため、生物学的にインspiredされた複合細胞に類似したユニットを採用し、空間的および時間的依存関係を捉える。
• 視差と動き推定の両方を同時に最適化するため、1つのニューラルネットワークアーキテクチャと学習アルゴリズムを用いる。
• アーキテクチャは複数のカメラおよび複数の動画フレームからのデータを処理し、深度と動きの統合的モデリングを可能にする。
• 複合細胞ユニットは、画像ペア across での応答を統合し、ネットワークが深度と動きの相関関係の強固な表現を学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングモデルが、多視点および多フレームデータから視差と動きを効果的に推定できるか。
• RQ2 学習された深度および動き特徴は、3次元アクティビティ解析において、手作業で設計された3次元動き特徴と比較してどのように異なるか。
• RQ3 画像ペア間の相関関係が、統合的深度および動き推定にどの程度寄与するか。
• RQ4 統合されたアーキテクチャおよび学習アルゴリズムは、空間的（視差）および時間的（動き）の両方の手がかりを効果的に処理できるか。

主な発見

• 提案手法は、3次元アクティビティ解析において最先端の性能を達成し、従来の手法と比較して優れた一般化性能を示した。
• データからエンド・トゥ・エンドで深度および動き特徴を同時に学習することは、従来の手作業で設計された3次元動き特徴を顕著に上回る。
• 複合細胞に類似したユニットの使用により、画像ペア間の相関関係の効果的なモデリングが可能になり、特徴表現が向上した。
• 本モデルは、1つのアーキテクチャ内で多視点および多フレーム情報を効果的に統合し、耐障害性と精度が向上した。