[論文レビュー] TransFlow: Unsupervised Motion Flow by Joint Geometric and Pixel-level Estimation

Stefano Alletto, Davide Abati+3 more|arXiv (Cornell University)|Jun 1, 2017

Advanced Vision and Imaging参考文献 12被引用数 6

ひとこと要約

TransFlowは、ホモロジーと空間変換器層を用いた幾何変換の同時推定と、深層ネットワークを用いた予測の最適化により、エゴセントリック動画における教師なしオプティカルフロー手法を提案する。再構成に基づく学習により、教師あり手法と比較して未学習データで3倍の誤差低減を達成し、優れた一般化性能を示している。

ABSTRACT

We address unsupervised optical flow estimation for ego-centric motion. We argue that optical flow can be cast as a geometrical warping between two successive video frames and devise a deep architecture to estimate such transformation in two stages. First, a dense pixel-level flow is computed with a geometric prior imposing strong spatial constraints. Such prior is typical of driving scenes, where the point of view is coherent with the vehicle motion. We show how such global transformation can be approximated with an homography and how spatial transformer layers can be employed to compute the flow field implied by such transformation. The second stage then refines the prediction feeding a second deeper network. A final reconstruction loss compares the warping of frame X(t) with the subsequent frame X(t+1) and guides both estimates. The model, which we named TransFlow, performs favorably compared to other unsupervised algorithms, and shows better generalization compared to supervised methods with a 3x reduction in error on unseen data.

研究の動機と目的

• 教師なしのオプティカルフロー推定を、エゴセントリック動画において真値ラベルなしで行う挑戦に応える。
• 特に、グローバルなホモロジーに基づく運動を用いた幾何的事前知識を活用し、フローパターンの空間的一致性を強制する。
• 幾何的制約とエンドツーエンドの深層学習を組み合わせることで、未学習データにおける一般化性能を向上させる。
• まず幾何的ワーピングを用いて粗いフローを推定し、その後に深層ネットワークで精緻化する二段階アーキテクチャを開発する。

提案手法

• 連続する動画フレーム間のオプティカルフローを、ホモロジー行列で表されるグローバルな運動として幾何的ワーピングとしてモデル化する。
• 空間変換器層を用いて、推定されたホモロジーに由来するフローフィールドを予測し、空間的一致性を強制する。
• 予測されたフローをより深いネットワークに供給し、画素レベルの詳細回復を可能にする。
• 元のフレームX(t)とターゲットフレームX(t+1)の間の再構成誤差を比較することで、全ネットワークを再構成損失を用いて学習する。
• 再構成損失を介して、幾何的推定と画素レベル推定の両方をエンドツーエンドで同時に最適化する。
• 幾何的事前知識からの強い空間的制約を適用し、学習の安定化と一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 ホモロジーによるモデル化といった幾何的事前知識は、エゴセントリックシーンにおける教師なしオプティカルフロー推定を改善できるか？
• RQ2 幾何的推定と画素レベル推定を統合することで、完全に学習ベースの手法と比較して、フローの精度と一般化性能がどのように向上するか？
• RQ3 真値ラベルなしの再構成に基づく学習は、未学習データにおける誤差低減にどの程度寄与するか？
• RQ4 空間変換器層は、ドライブシナリオにおけるグローバルな運動に由来するフローフィールドを効果的にモデル化できるか？

主な発見

• TransFlowは、教師あり手法と比較して、未学習データで誤差を3倍低減し、優れた一般化性能を示している。
• 幾何的事前知識の統合により、エゴセントリック動画における空間的一致性とフロー精度が顕著に向上した。
• 幾何的初期化とその後の深層精緻化からなる二段階アーキテクチャは、完全にエンドツーエンドの教師なしモデルを上回る性能を発揮した。
• 真値ラベルなしの再構成に基づく学習により、多様なテストシナリオにおいても頑健な性能が得られた。
• 空間変換器層は、ホモロジー推定からフローフィールドを効果的に生成でき、微分可能なワーピングを可能にした。
• 訓練時に見なかったドメインに対しても、本手法は良好な一般化性能を示しており、幾何的制約による強いインダクティブバイアスの有効性が裏付けられた。