[論文レビュー] Deep Spectral Correspondence for Matching Disparate Image Pairs

Arun Kumar, Shefali Srivastava+2 more|arXiv (Cornell University)|Sep 12, 2018

Advanced Image and Video Retrieval Techniques参考文献 12被引用数 4

ひとこと要約

本稿では、スケール、視点、照明、隠蔽の極端な変化下でも、学習不要で局所的特徴記述子とスペクトルグラフ埋め込みを組み合わせた、局所的特徴と形状の両方を考慮した、特徴の著しい相違を示す画像ペアを照合する手法であるDeep Spectral Correspondence（DSC）を提案する。スペクトル埋め込みフレームワーク内で形状、局所的特徴、正則化項を同時に最適化することで、従来のベンチマークおよび新たに導入されたベンチマークデータセットにおいて、最先端の性能を達成する。

ABSTRACT

A novel, non-learning-based, saliency-aware, shape-cognizant correspondence determination technique is proposed for matching image pairs that are significantly disparate in nature. Images in the real world often exhibit high degrees of variation in scale, orientation, viewpoint, illumination and affine projection parameters, and are often accompanied by the presence of textureless regions and complete or partial occlusion of scene objects. The above conditions confound most correspondence determination techniques by rendering impractical the use of global contour-based descriptors or local pixel-level features for establishing correspondence. The proposed deep spectral correspondence (DSC) determination scheme harnesses the representational power of local feature descriptors to derive a complex high-level global shape representation for matching disparate images. The proposed scheme reasons about correspondence between disparate images using high-level global shape cues derived from low-level local feature descriptors. Consequently, the proposed scheme enjoys the best of both worlds, i.e., a high degree of invariance to affine parameters such as scale, orientation, viewpoint, illumination afforded by the global shape cues and robustness to occlusion provided by the low-level feature descriptors. While the shape-based component within the proposed scheme infers what to look for, an additional saliency-based component dictates where to look at thereby tackling the noisy correspondences arising from the presence of textureless regions and complex backgrounds. In the proposed scheme, a joint image graph is constructed using distances computed between interest points in the appearance (i.e., image) space. Eigenspectral decomposition of the joint image graph allows for reasoning about shape similarity to be performed jointly, in the appearance space and eigenspace.

研究の動機と目的

• スケール、方向、視点、照明、アフィン変換の極端な変化が生じる画像ペアの照合という課題に対処すること。
• 遮蔽、テクスチャの欠落領域、変形の影響を受ける状況において、従来の局所的特徴照合法やグローバル形状記述子の限界を克服すること。
• 低レベル特徴と高レベル形状表現を併用することで、学習不要な堅牢な照合手法を開発すること。
• 極端な条件下での特徴の著しい相違を示す画像照合に適した、新しい大規模ベンチマークデータセットとその正解アノテーションを提供すること。
• 粗粒度の形状照合と微粒度の点対応照合の両方で、最先端の性能を達成すること。

提案手法

• 外観空間における点間距離を用いて、画像間の局所的特徴関係を表現する統合画像グラフを構築する。
• 統合グラフに対して固有スペクトル分解を実行し、共通の固有空間に画像を埋め込むことで、統合された形状類似度推論を実現する。
• 形状に基づく正則化、局所的特徴の質、および局所的特徴の信頼性を統合したエネルギー関数を最適化に統合する。
• 形状の一貫性、局所的特徴の信頼性、および局所的特徴の質のバランスを取る凸最適化法を用いてエネルギー関数を最適化する。
• 深層畳み込みニューラルネットワーク（例：SuperPoint）の特徴を入力記述子として用いるが、エンドツーエンドの学習は行わない。
• 局所的特徴の信頼性と幾何学的整合性の高い領域を優先する形状認識最適化を適用する。

実験結果

リサーチクエスチョン

• RQ1 学習不要な手法が、著しく相違する画像ペアの照合において最先端の性能を達成できるか？
• RQ2 統合スペクトル埋め込みが、極端な視点変化下でも照合のロバスト性をどのように向上させるか？
• RQ3 局所的特徴の信頼性に基づく形状認識が、テクスチャの欠落領域や複雑な背景領域における誤った照合をどの程度削減できるか？
• RQ4 学習データを必要としない低レベル特徴と高レベル形状認識に基づくモデルが、深層学習ベースのベースラインを上回れるか？
• RQ5 形状、局所的特徴の信頼性、正則化の統合が、遮蔽や変形の影響下での照合精度をどの程度向上させるか？

主な発見

• 提案手法DSCは、粗粒度の形状照合および微粒度の点対応照合の両タスクで、最先端の性能を達成した。
• SuperPointのような深層特徴を用いた場合でも、従来の特徴ベース照合法よりも顕著に優れた性能を示し、スペクトル埋め込みの必要性を裏付けた。
• アブレーションスタディの結果、性能向上の主な要因は、統合スペクトル埋め込みと形状認識最適化に起因しており、単に特徴品質の向上によるものではないことが確認された。
• エネルギー関数の最適なパラメータ重みは、検証セットの正答率に基づき、λ₁=0.75（形状）、λ₂=0.10（正則化）、λ₃=0.15（局所的特徴の信頼性）として特定された。
• 新規に導入されたベンチマークデータセットは、公開済みの特徴の著しい相違を示す画像照合のための最大規模かつ包括的なデータセットであり、正解の特徴点アノテーションを備えている。
• 局所的特徴の信頼性に基づく注目メカニズムにより、テクスチャの欠落領域や複雑な背景領域における誤った照合が効果的に削減された。