[論文レビュー] Epipolar-Guided Deep Object Matching for Scene Change Detection

Kento Doi, Ryuhei Hamaguchi+4 more|arXiv (Cornell University)|Jul 30, 2020

Advanced Image and Video Retrieval Techniques参考文献 44被引用数 6

ひとこと要約

本稿では、エピポラ幾何を組み込んだ深層グラフマッチング（EGMNet）を用いたオブジェクトベースの変化検出ネットワーク（OBJ-CDNet）を提案する。この手法により、正確な画像アライメントを必要とせず、オブジェクトレベルのアノテーションのみで、視点変化に強い堅牢なシーン変化検出が可能になる。エピポラ幾何をグラフマッチングに統合することで、正確なオブジェクト対応とピクセル単位の変化検出を実現し、大規模な視点変化下でも、合成データおよび実世界データセットにおいてピクセル単位のベースラインを顕著に上回る性能を達成する。

ABSTRACT

This paper describes a viewpoint-robust object-based change detection network (OBJ-CDNet). Mobile cameras such as drive recorders capture images from different viewpoints each time due to differences in camera trajectory and shutter timing. However, previous methods for pixel-wise change detection are vulnerable to the viewpoint differences because they assume aligned image pairs as inputs. To cope with the difficulty, we introduce a deep graph matching network that establishes object correspondence between an image pair. The introduction enables us to detect object-wise scene changes without precise image alignment. For more accurate object matching, we propose an epipolar-guided deep graph matching network (EGMNet), which incorporates the epipolar constraint into the deep graph matching layer used in OBJCDNet. To evaluate our network's robustness against viewpoint differences, we created synthetic and real datasets for scene change detection from an image pair. The experimental results verified the effectiveness of our network.

研究の動機と目的

• モバイルカメラを用いたシーン変化検出において、動的なカメラ軌道やシャッタータイミングの影響により正確な画像アライメントが困難な視点変化の課題に対処すること。
• ピクセル単位の変化アノテーションにかかるコストを低減するため、ピクセル単位の教師信号に依存せず、オブジェクト単位の変化監視のみでエンドツーエンド学習を可能とすること。
• エピポラ幾何を深層グラフマッチングに統合することで、大規模な視点差下でもオブジェクトマッチングのロバスト性を向上させること。
• オブジェクトベースのシーン変化検出をベンチマークするための、大規模かつ公開可能な合成データおよび実世界データセットを構築・公開すること。

提案手法

• 入力画像ペアからオブジェクト検出ネットワークを用いてバウンディングボックスと領域-of-interest（RoI）特徴を抽出する。
• 検出されたバウンディングボックスからオブジェクトグラフを構築し、ノードをオブジェクト、エッジを空間的関係（幾何的構造を保つためにデローニー三角形分割を用いて表現）として定義する。
• エピポラ幾何を用いた深層グラフマッチング層が、オブジェクトグラフ間の類似度行列を計算し、基本行列を用いて正規化されたエピポラル距離により幾何的一致性を強制する。
• 学習可能なアテンションメカニズムが、マッチングされたオブジェクト特徴を統合し、ピクセル単位のセマンティック変化マスクを予測する。この段階ではピクセル単位の教師信号を必要としない。
• ネットワークは、オブジェクトレベルの変化アノテーションとバウンディングボックスの監視のみを用いてエンドツーエンドで訓練され、性能向上のためのトランスファー学習が可能になる。
• さらに、事前学習済みのセマンティックセグメンテーションヘッド（例：Cityscapesベース）を用いることで、ピクセル単位の検出精度をさらに向上させる拡張も行う。

実験結果

リサーチクエスチョン

• RQ1 エピポラ制約付きの深層グラフマッチングは、モバイルカメラシーンにおける大規模な視点変化下でも、オブジェクト対応のロバスト性を向上させることができるか？
• RQ2 オブジェクト単位の変化アノテーションは、正確なピクセル単位の変化検出を実現するネットワークの学習において、どの程度ピクセル単位のアノテーションに置き換え可能か？
• RQ3 グラフマッチングに幾何的制約（エピポラ幾何）を組み込むことで、マッチング精度および変化検出性能にどのような影響を与えるか？
• RQ4 統合されたネットワークアーキテクチャは、ピクセル単位の監視を一切用いずに、ロバストなオブジェクトマッチングと高精度なピクセル単位の変化検出を両立できるか？

主な発見

• デローニー三角形分割を用いたグラフ構造を採用したEGMNetは、完全結合グラフよりも高いオブジェクトマッチング精度を達成しており、オブジェクト間の幾何的関係の重要性を示している。
• エピポラ制約により、合成データおよび実世界データセットの両方で、非エピポラベースラインと比較して一貫した性能向上が確認され、その有効性が裏付けられた。
• アテンションメカニズムを備えたOBJ-CDNetは、ピクセル単位の教師信号を一切使用しないにもかかわらず、完全教師ありの最先端手法と同等の精度（mIoU）を達成した。
• 事前学習済みセグメンテーションヘッドを用いたOBJ-CDSegNetは、CARLA-OBJCDデータセットにおいて、完全教師ありベースラインの3つ中2つを上回った。
• 真値のバウンディングボックスを用いた場合、EGMNetは最先端の性能を達成しており、より良いオブジェクト検出技術と組み合わせることで、今後のさらなる性能向上が期待できる。
• 本手法は、移動する車両や隠蔽状態などの困難な状況でも、シーン変化を正しく検出でき、標準的なピクセル単位手法とは異なり、顕著な視点シフト下でもロバスト性を維持した。