[論文レビュー] Cubes3D: Neural Network based Optical Flow in Omnidirectional Image Scenes

André Apitzsch, Roman Seidel+1 more|arXiv (Cornell University)|Apr 24, 2018

Advanced Vision and Imaging参考文献 20被引用数 5

ひとこと要約

本稿では、修正されたFlowNet 2.0アーキテクチャを用いて、魚眼投影による全方向画像における光流の推定を目的とするCubes3Dを提案する。本手法は、魚眼投影におけるテクスチャ付きの移動する立方体を用いて合成された真値を生成し、テクスチャが前景の光流誤差を顕著に低減することを示している。FlowNet2-SDを用いた場合、Fl-fgの不一致率は4.75%にまで低下したのに対し、非テクスチャ物体では22.85%にとどまった。

ABSTRACT

Optical flow estimation with convolutional neural networks (CNNs) has recently solved various tasks of computer vision successfully. In this paper we adapt a state-of-the-art approach for optical flow estimation to omnidirectional images. We investigate CNN architectures to determine high motion variations caused by the geometry of fish-eye images. Further we determine the qualitative influence of texture on the non-rigid object to the motion vectors. For evaluation of the results we create ground truth motion fields synthetically. The ground truth contains cubes with static background. We test variations of pre-trained FlowNet 2.0 architectures by indicating common error metrics. We generate competitive results for the motion of the foreground with inhomogeneous texture on the moving object.

研究の動機と目的

• 標準のCNNベース手法が幾何的歪みに苦しむ全方向（魚眼）画像シーケンスにおける光流推定の課題に対処すること。
• 魚眼カメラの等距離投影モデルが引き起こす極端な運動変化下でのCNNアーキテクチャの性能を調査すること。
• 非剛体で動く前景オブジェクトにおけるオブジェクトのテクスチャが光流推定精度に与える影響を評価すること。
• 光流推定の評価を目的とした、真値を伴う合成ベンチマークデータセットの作成。
• 魚眼画像における大きな変位とノイズ領域を処理する能力について、事前学習済みFlowNet 2.0バリアントを比較すること。

提案手法

• 等距離投影を用いたステレオ風の魚眼画像ペアに、全方向画像データに適応したFlowNet 2.0アーキテクチャを適用する。
• 3次元シーンの点を2次元画像座標にマッピングするため、径方向距離ρ(θ) = θを満たす魚眼カメラモデルと等距離投影を用いる。
• 3次元の立方体と静的背景をシミュレートし、幾何的変換によりピクセルの変位を計算することで、合成された真値の光流を生成する。
• 標準的な光流誤差指標を適用：平均エンドポイント誤差（AEE）、および3ピixelsを超える動きに対する不一致率（Fl-bg、Fl-fg、Fl-all）。
• さまざまな運動パターンとテクスチャを有する合成シーケンス上で、複数のFlowNet 2.0バリアント（FN2、FN2-SD、FN2-CSS-ft-sd）を訓練および評価する。
• 色分けされた光流可視化と定量的比較を用い、特に大変位および低テクスチャ領域における性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 幾何的歪みが著しい全方向画像に標準的なFlowNet 2.0アーキテクチャを適用した場合、どのような性能を示すか？
• RQ2 魚眼投影下の動く前景領域において、オブジェクトのテクスチャが光流推定精度に与える影響は何か？
• RQ3 異なるFlowNet 2.0バリアント（例：FN2-SD、FN2-CSS-ft-sd）は、魚眼画像に起因する大変位をどれほど効果的に処理できるか？
• RQ4 立方体などの幾何的プリミティブを用いた合成真値は、全方向シーンにおける光流推定の評価に信頼できるベンチマークとして機能できるか？
• RQ5 光流推定における主な誤差パターン（例：ぼやけ、ノイズ）は何か？また、それらは運動タイプやテクスチャの有無に応じてどのように変化するか？

主な発見

• FlowNet2-SDバリアントは、4.75%（Fl-fg）という最小の前景不一致率を達成し、非テクスチャ物体に対して22.85%を示す標準FlowNet2を著しく上回った。
• 移動する立方体にテクスチャを追加することで、非テクスチャ表面と比較して、前景の光流誤差が約10ポイント低下した。
• FN2-CSS-ft-sdアーキテクチャでは、特に大変位下で魚眼画像の右下領域にノイズ混じりのぼやけたエフェクトが観察された。
• 平均エンドポイント誤差は、運動速度が低下するにつれて減少した。これは、等距離投影モデルにおける前景の分布が良好になったためと考えられる。
• 背景の運動誤差（Fl-bg）は、すべてのシーケンスでほぼゼロのままであり、合成設定における静的背景の妥当性を裏付けた。
• らせん運動に起因する大変位は、特にFN2-SDアーキテクチャにおいて最も高い誤差率を示し、極端な運動を処理する能力の限界を示唆した。