[論文レビュー] Multimodal matching using a Hybrid Convolutional Neural Network.

Elad Ben Baruch, Yosi Keller|arXiv (Cornell University)|Oct 30, 2018

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 8

ひとこと要約

本論文は、可視画像と赤外線画像のようなマルチモーダル画像間で特徴点を一回の順方向プロパゲーションで同時に検出および一致させる、統合型ハイブリッドCNNアーキテクチャを提案する。シアンズCNNと重み共有のない二重CNNを統合することで、共有される特徴と固有の画像特徴を融合し、マッチング誤り率を50–70%低減するとともに、SIFT や ORB よりも検出再現性が向上する。

ABSTRACT

In this work, we propose a novel Convolutional Neural Network (CNN) architecture for the joint detection and matching of feature points in images acquired by different sensors using a single forward pass. The resulting feature detector is tightly coupled with the feature descriptor, in contrast to classical approaches (SIFT, etc.), where the detection phase precedes and differs from computing the descriptor. Our approach utilizes two CNN subnetworks, the first being a Siamese CNN and the second, consisting of dual non-weight-sharing CNNs. This allows simultaneous processing and fusion of the joint and disjoint cues in the multimodal image patches. The proposed approach is experimentally shown to outperform contemporary state-of-the-art schemes when applied to multiple datasets of multimodal images by reducing the matching errors by 50\%-70\% compared with previous works. It is also shown to provide repeatable feature points detections across multi-sensor images, outperforming state-of-the-art detectors such as SIFT and ORB. To the best of our knowledge, it is the first unified approach for the detection and matching of such images.

研究の動機と目的

• 可視画像と赤外線画像のような異なるセンサーからの画像間で特徴点を一致させる課題に対処すること。
• 古典的な二段階手法（例：SIFT）の制限を克服するため、特徴検出と記述子計算を統合型エンドツーエンド学習フレームワークに統合すること。
• 最先端の手法と比較して、マルチモーダル画像ペアにおけるマッチング精度と検出再現性を向上させること。
• 新しいCNNアーキテクチャを通じて、同時処理および共有（共通）と非共有（センサー固有）の画像特徴を統合すること。

提案手法

• 本手法は、異なるセンサーからの画像パッチペアを処理するためのシアンズCNNサブネットワークを採用し、共同特徴学習を可能にする。
• 2番目のサブネットワークでは、重み共有のない二重CNNを用いてセンサー固有の特徴を抽出し、モダリティ固有の情報を独立して処理可能にする。
• 両サブネットワークの出力を統合して、検出および一致のための統一された特徴表現を生成する。
• ネットワーク全体をエンドツーエンドで訓練することで、1回の順方向プロパゲーションで検出と一致の両方の性能を最適化する。
• アーキテクチャは密結合に設計されており、検出と記述子学習が逐次的ではなく、並列に実行される。

実験結果

リサーチクエスチョン

• RQ1 分離された検出と記述の段階がなく、1つのディープラーニングモデルがマルチモーダル画像間で特徴点を効果的に検出および一致させられるか。
• RQ2 検出と記述の共同学習が、マルチモーダル環境下でのマッチング精度をどのように向上させるか。
• RQ3 共有と非共有の画像特徴を統合することで、異なるセンサー間での特徴一致性能がどの程度向上するか。
• RQ4 本手法は、マルチモーダルデータにおいて、SIFT や ORB のような古典的検出器と比較して、どの程度検出再現性が高いか。

主な発見

• 提案手法は、複数のマルチモーダルデータセットにおいて、最先端の手法と比較してマッチング誤り率を50–70%低減した。
• SIFT や ORB よりもマルチセンサー画像ペアにおいて高い検出再現性を達成し、センサー差に対するロバスト性を示した。
• 検出と記述の統合型フレームワークは、検出と記述を統一的かつエンドツーエンドで学習するため、古典的な二段階手法を上回った。
• 重み共有のない二重CNNの使用により、モダリティ固有の特徴を効果的にモデル化するとともに、クロスモダリティの整合性を保った。