[論文レビュー] Content-Aware Unsupervised Deep Homography Estimation

Jirong Zhang, Chuan Wang+6 more|arXiv (Cornell University)|Sep 12, 2019

Advanced Image and Video Retrieval Techniques参考文献 59被引用数 23

ひとこと要約

本論文は、低コントラスト、低照度、動的物体を含む困難な現実世界のシナリオにおけるアライメントを向上させるために、一貫した特徴表現と空間的外れ値マスクを同時に学習する、コンテンツに配慮した教師なし深層学習手法を提案する。教師なし学習のための新規な三重損失関数を用い、ピクセル強度の代わりに深層特徴を最適化することで、多様な実世界のシナリオにおいて最先端の性能を達成した。新規な多様なベンチマークデータセット上で、従来の教師ありおよび教師なし手法を著しく上回った。

ABSTRACT

Homography estimation is a basic image alignment method in many applications. It is usually conducted by extracting and matching sparse feature points, which are error-prone in low-light and low-texture images. On the other hand, previous deep homography approaches use either synthetic images for supervised learning or aerial images for unsupervised learning, both ignoring the importance of handling depth disparities and moving objects in real world applications. To overcome these problems, in this work we propose an unsupervised deep homography method with a new architecture design. In the spirit of the RANSAC procedure in traditional methods, we specifically learn an outlier mask to only select reliable regions for homography estimation. We calculate loss with respect to our learned deep features instead of directly comparing image content as did previously. To achieve the unsupervised training, we also formulate a novel triplet loss customized for our network. We verify our method by conducting comprehensive comparisons on a new dataset that covers a wide range of scenes with varying degrees of difficulties for the task. Experimental results reveal that our method outperforms the state-of-the-art including deep solutions and feature-based solutions.

研究の動機と目的

• 従来の特徴ベースのホモグラフィ推定法には、特徴品質が低い低コントラストまたは低照度のシーンで失敗するという限界があるため、これを是正すること。
• 合成データで学習された教師あり深層ホモグラフィ手法に見られる一般化ギャップを克服するため、実世界の画像ペアに対して教師なしアプローチを提案すること。
• 深度差や動的物体に対する頑健性を向上させるために、学習段階で信頼性の低い領域を抑制するコンテンツに配慮したマスクを学習すること。
• 教師ありホモグラフィが存在しない状況でも、特徴の一貫性を促進する新規な三重損失関数を設計することで、教師なし学習を可能にすること。
• 今後の画像アライメント研究のため、多様な実世界のシーンと人間がアノテートした正例対応関係を含む包括的な新規ベンチマークデータセットを構築すること。

提案手法

• 本手法は、画像ペアから深層特徴を抽出するために、特徴強化モジュールを備えた共有バックボーンを有する二重ストリームエンコーダーを採用する。
• エンドツーエンドで予測されるコンテンツに配慮したマスクにより、動的物体や非平面面などの信頼性の低い領域を損失計算時に抑制する。
• 損失はピクセル強度ではなく深層特徴に基づいて計算されるため、照明変化やコントラスト変動に対して最適化がより頑健になる。
• 幾何的整合性を強制するため、新規な三重損失関数を導入：同じ領域の特徴間の距離を最小化するとともに、不一致領域の距離を最大化する。
• ネットワークは二段階の戦略で訓練される：まず事前学習済み特徴抽出器を用い、次に全モジュールを共同で微調整することで収束性と性能が向上する。
• 本フレームワークは、写真的一致性を用いて教師なしで訓練され、三重損失が教師ありホモグラフィが存在しない状況でも意味のある特徴学習を保証する。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習なしに、低コントラスト、低照度、動的物体を含む現実世界のシナリオにおいて、深層ネットワークが頑健にホモグラフィを推定できるか。
• RQ2 教師なしホモグラフィ推定において、動的物体や非平面面などの外れ領域を深層ネットワークが効果的に抑制できるか。
• RQ3 ピクセルレベルの写真的一致損失と比較して、深層特徴ベースの損失が、アライメント精度と頑健性の面でどれほど優れているか。
• RQ4 提案された三重損失が、教師なしホモグラフィ学習における安定的かつ非自明な最適化を実現するのにどれほど有効か。
• RQ5 本手法は、顕著な深度変化や照度変化を伴う多様な実世界のシーンに一般化可能か。

主な発見

• 本手法は、スクラッチから学習する場合と比較して平均誤差が4.40%低く、二段階訓練戦略の有効性を示した。
• 三重損失なしのベースラインと比較して、低照度シーンでは誤差が70.10%低減され、低コントラストシーンでは118.42%も低減された。これは本手法の頑健性を裏付ける。
• ResNet-18 や ShuffleNet バックボーンを用いることで、ResNet-34 と同等の性能が得られ、軽量デバイスへの実装可能性が顕著に示された。
• コンテンツに配慮したマスクは、インライヤ領域の選択と注視メカニズムの両方を統合したバランスの取れた重みマップを学習し、単一の目的に特化したマスクを用いるモデルを上回る性能を発揮した。
• 本手法は、SIFT+RANSAC や従来の教師なし DNN ベース手法を含め、すべてのベンチマークカテゴリで顕著に優れており、動的物体やテクスチャレス領域を含む困難なケースでも優れた性能を示した。
• アブレーションスタディにより、特徴ベース損失と三重損失が性能に不可欠であることが確認された。ピクセルレベル損失では、マスクが異常に疎になり、アライメント性能が著しく低下した。