[論文レビュー] Dense Optical Flow based Change Detection Network Robust to Difference of Camera Viewpoints

Ken Sakurada, Weimin Wang+2 more|arXiv (Cornell University)|Dec 8, 2017

Remote-Sensing Image Classification参考文献 15被引用数 17

ひとこと要約

本稿では、移動するカメラからの画像対における視点の違いに対する頑健性を向上させるために、密なオプティカルフローを活用する変化検出ネットワーク、DOF-CDNetを提案する。オプティカルフローを追加の入力モodalitiyとして組み込むことで、本手法はパノラマ変化検出ベンチマークで最先端の性能を達成し、GSVデータセットにおいて既存のCNNベースの手法よりもF1スコアで最大0.022の向上を達成した。

ABSTRACT

This paper presents a novel method for detecting scene changes from a pair of images with a difference of camera viewpoints using a dense optical flow based change detection network. In the case that camera poses of input images are fixed or known, such as with surveillance and satellite cameras, the pixel correspondence between the images captured at different times can be known. Hence, it is possible to comparatively accurately detect scene changes between the images by modeling the appearance of the scene. On the other hand, in case of cameras mounted on a moving object, such as ground and aerial vehicles, we must consider the spatial correspondence between the images captured at different times. However, it can be difficult to accurately estimate the camera pose or 3D model of a scene, owing to the scene changes or lack of imagery. To solve this problem, we propose a change detection convolutional neural network utilizing dense optical flow between input images to improve the robustness to the difference between camera viewpoints. Our evaluation based on the panoramic change detection dataset shows that the proposed method outperforms state-of-the-art change detection algorithms.

研究の動機と目的

• 標準的手法の性能が低下する、カメラの視点の違いが顕著な移動カメラシナリオにおけるシーン変化検出の課題に対処すること。
• 正確なカメラポーズ推定や3次元再構築に依存せずに、視点の変化に対する頑健性を向上させること。
• 画像対の空間的整合性を向上させるために、オプティカルフローを統合する深層学習ベースの変化検出手法を開発すること。
• SfMやバンドル調整のような高コストなプロセスを回避し、GPS補助の画像登録のみを用いて正確な変化検出を可能にすること。
• オプティカルフローからの動きに敏感な特徴を組み込むことで、変化検出に特化したCNNを最適化すること。

提案手法

• 本手法は、異なる時刻の2枚の画像とそれらの間の推定された密なオプティカルフローを入力とする2ストリームの畳み込みニューラルネットワークを用いる。
• オプティカルフローは事前学習済みモデル（例：FlowNet2）を用いて計算され、画像対間のピクセル単位の動きを捉える。
• 複数スケールで画像対とオプティカルフローの特徴を統合することで、空間的対応関係の理解を強化する。
• スキップ接続とマルチスケール特徴統合モジュールを用いて、変化マップ予測における細粒度のディテールを保持する。
• 教師強化学習のためのバイナリクロスエントロピー損失関数を用いて、正例マスクを用いてエンドツーエンドで学習する。
• 最終的な予測は、シーンの変化が発生したかどうかをピクセル単位で示す変化マップである。

実験結果

リサーチクエスチョン

• RQ1 入力画像が異なるカメラの視点から撮影された場合、密なオプティカルフローは変化検出性能の向上に寄与するか？
• RQ2 オプティカルフローを入力モダリティとして組み込むことで、移動カメラシナリオにおける変化検出の頑健性はどのように向上するか？
• RQ3 提案手法は、視点の違いを考慮しない既存のCNNベースの変化検出ネットワークを上回るか？
• RQ4 オプティカルフローの使用は、正確なカメラポーズ推定や3次元再構築への依存度をどの程度低減するか？
• RQ5 本手法は、視点の違いが顕著な実世界のパノラマデータセットに対しても十分に一般化可能か？

主な発見

• 提案手法のDOF-CDNetは、GSVデータセットでF1スコア0.7660を達成し、同じベンチマークでベースラインのCDNetをF1スコア0.0242上回った。
• パノラマ変化検出データセットの複数のテストシーケンス全体を通して、DOF-CDNetはSOTA手法を平均でF1スコア0.022上回った。
• 都市の交差点や曲がりくねった道路など、視点の違いが顕著なシーンにおいて、標準的手法が失敗する中で、本手法は顕著な頑健性を示した。
• アブレーションスタディの結果、特に動きパララックスが顕著な領域において、オプティカルフロー入力が性能向上に大きく寄与することが確認された。
• GPSベースの画像登録が不正確であっても、本モデルは高い精度を維持し、正確なカメラポーズの知識への依存度を低減した。
• 可視化結果から、動的物体や構造的変化の周辺において、DOF-CDNetはより正確で完全な変化マップを生成することが明らかになった。