[論文レビュー] Deep Image Homography Estimation

Daniel DeTone, Tomasz Malisiewicz+1 more|arXiv (Cornell University)|Jun 13, 2016

Advanced Vision and Imaging参考文献 13被引用数 165

ひとこと要約

本論文は HomographyNet を提示する。これはスタックされたグレースケールパッチから画像間ホモグラフィを直接推定する深層CNNであり、回帰と分類の両方のバリアントを備え、MS-COCO から合成生成されたデータを用いて end-to-end に学習される。

ABSTRACT

We present a deep convolutional neural network for estimating the relative homography between a pair of images. Our feed-forward network has 10 layers, takes two stacked grayscale images as input, and produces an 8 degree of freedom homography which can be used to map the pixels from the first image to the second. We present two convolutional neural network architectures for HomographyNet: a regression network which directly estimates the real-valued homography parameters, and a classification network which produces a distribution over quantized homographies. We use a 4-point homography parameterization which maps the four corners from one image into the second image. Our networks are trained in an end-to-end fashion using warped MS-COCO images. Our approach works without the need for separate local feature detection and transformation estimation stages. Our deep models are compared to a traditional homography estimator based on ORB features and we highlight the scenarios where HomographyNet outperforms the traditional technique. We also describe a variety of applications powered by deep homography estimation, thus showcasing the flexibility of a deep learning approach.

研究の動機と目的

• 深層畳み込みネットが特徴点検出や RANSAC 的ロバスト化を別個に行わずにホモグラフィを推定できることを示す。
• 学習を安定させ、問題を良好に条件づけるための4点コーナーparameterizationを提案する。
• ホモグラフィパラメータを予測する2つのネットワークバリアント（回帰と分類）を示す。
• 現実画像から大規模なラベル付きデータセットを合成するエンドツーエンドのデータ生成パイプラインを提供する。
• 従来の ORB+RANSAC 法と比較し、深層ホモグラフィ推定の実用性について議論する。

提案手法

• 128x128x2 の入力（2つのスタックされたグレースケールパッチ）を受け取り 8 パラメータを出力するVGG風の8層CNNを使用する。
• H4point を用いて4点パラメータ化を採用し、4点フレームワークでの各 i=1..4 のコーナー変位 (Delta u_i, Delta v_i) をエンコードする。
• 2つのアーキテクチャを訓練する。1つは8つの実数値を出力する回帰ヘッドでL2損失を用いる。もう1つはコーナーごとに21の量子化ビンを持つ分類ヘッドとソフトマックス/クロスエントロピー損失。
• MS-COCO からパッチをランダムに切り出し、ランダム射影変換を適用してGround-truth H^{AB}を4点フレームワークで作成することにより訓練データを生成する。
• データ生成をオクルージョンやモーションブラーでのロバスト性向上を目的として拡張する。
• 500,000 patch pairs で訓練し、Warped MS-COCO テストセットで評価する。ORB+RANSAC および同一性ベースのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 明示的な局所特徴点検出やRANSACの洗練化を伴わずに、深層CNN が画像間ホモグラフィを直接推定できるか？
• RQ2 4点コーナー Parameterization は深層ホモグラフィ推定の訓練安定性と性能を改善するか？
• RQ3 回帰と分類の定式化は精度と実用性（例：信頼度推定）においてどのように比較されるか？
• RQ4 このようなモデルをリアルタイムもしくは組み込みシステムへ展開する際の速度と実用性はどの程度か？

主な発見

• 回帰版の HomographyNet は評価された手法の中で最も良い平均コーナー誤差を達成した。
• 分類版の HomographyNet はコーナーごとの信頼度分布を提供し、デバッグや不確実性推定に有用。
• NVIDIA Titan X 上で時系列約300 fps を超え、リアルタイムまたは組み込み展開を可能にする。
• 4点パラメータ化は次元間でコーナー変位を整列させることにより、学習問題を良い挙動にする。
• エンドツーエンド学習はコーナー検出や堅牢なホモグラフィ推定の個別ステップを不要にする。
• 大規模な実世界データセットから合成データで訓練することは、堅牢なホモグラフィ推定を学ぶのに有効である。