[論文レビュー] Robust Image Matching By Dynamic Feature Selection

Hao Huang, Jianchun Chen+3 more|arXiv (Cornell University)|Aug 13, 2020

Advanced Image and Video Retrieval Techniques参考文献 42被引用数 4

ひとこと要約

本稿では、特徴選択を逐次的マルコフ決定過程（MDP）として定式化することで、強化学習に基づく動的特徴選択手法を提案し、クラス内変動に強い画像照合を実現する。畳み込みニューラルネットワーク（CNN）バックボーンからマルチスケール特徴を適応的に選択することで、対応精度を向上させ、手動の事前知識を一切用いずに最適な特徴組み合わせを学習し、3つのベンチマークで最先端または同等の性能を達成した。

ABSTRACT

Estimating dense correspondences between images is a long-standing image under-standing task. Recent works introduce convolutional neural networks (CNNs) to extract high-level feature maps and find correspondences through feature matching. However,high-level feature maps are in low spatial resolution and therefore insufficient to provide accurate and fine-grained features to distinguish intra-class variations for correspondence matching. To address this problem, we generate robust features by dynamically selecting features at different scales. To resolve two critical issues in feature selection,i.e.,how many and which scales of features to be selected, we frame the feature selection process as a sequential Markov decision-making process (MDP) and introduce an optimal selection strategy using reinforcement learning (RL). We define an RL environment for image matching in which each individual action either requires new features or terminates the selection episode by referring a matching score. Deep neural networks are incorporated into our method and trained for decision making. Experimental results show that our method achieves comparable/superior performance with state-of-the-art methods on three benchmarks, demonstrating the effectiveness of our feature selection strategy.

研究の動機と目的

• 既存の学習ベースの画像照合手法が高レベルのCNN特徴に依存している点に起因する、クラス内変動における細粒度の識別力の欠如を是正すること。
• 最適な照合性能を得るためにどのスケールの特徴を、いくつ選択するかを決定するという重要な課題を解決すること。
• 強化学習を用いて動的に特徴を選択するエンドツーエンドで学習可能なフレームワークを構築し、ビームサーチのようなヒューリスティック探索戦略を回避すること。
• 変形、照明変化、スケール変化に対して強い対応性を発揮する画像対応推定を向上させること。
• タスク固有の特徴設計を一切行わず、多様なベンチマークにおいて学習された特徴選択の有効性を実証すること。

提案手法

• 特徴選択プロセスを逐次的マルコフ決定過程（MDP）としてモデル化し、各アクションは特定のCNNレイヤーからの特徴マップを選択するか、エピソードを終了する。
• 強化学習のための深層Qネットワーク（DQN）を訓練し、照合スコアの向上に基づく報酬信号に従って、さらに特徴を選択するか停止するかを決定する。
• 複数スケールの特徴を連結し、学習可能な統合モジュールを用いて統合することで、照合に適した強力で判別力のある記述子を生成する。
• 環境は視覚的類似性と空間的一致性を計算することで画像照合をシミュレートし、予測された対応の質に基づいて報酬を形状化する。
• 事前に画像ペアの知識を持たず、ポリシー最適化を通じてデータから直接最適な特徴組み合わせを学習する。
• 本手法は、ビームサーチのような制限付き戦略を超えて、特徴レベル間での柔軟で非逐次的な選択を可能にし、探索空間を拡張する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックな手作業設計に依存せずに、強化学習がマルチスケール特徴の選択を効果的に学習できるか。
• RQ2 CNNレイヤー間での動的・適応的特徴選択は、固定または逐次的選択と比較して、照合精度と耐性性においてどのように異なるか。
• RQ3 エンドツーエンドの強化学習ベース手法が、セマンティック対応推定の標準ベンチマークで最先端の手法を上回るか、同等の性能を発揮できるか。
• RQ4 特徴スケールの多様性が、テクスチャ、照明、変形などのクラス内変動を処理する上で果たす影響は何か。
• RQ5 提案手法は、非剛性変形を含むさまざまなデータセットや画像ペアタイプに一般化可能か。

主な発見

• 提案手法は、PF-PASCAL、PASCAL-Part、LSPの3つの公開ベンチマークで最先端または競争力のある性能を達成し、さまざまな画像変動に強いことを示した。
• PF-PASCALデータセットでは、最良のレイヤー組み合わせでPCKh@0.5スコアが0.70に達し、ランダムなレイヤー選択やビームサーチベースラインを上回った。
• 定性的な結果から、近似的に剛性な変形や非剛性変形下でもキーポイントを正しく照合でき、非対象オブジェクトへの誤対応を回避していることが確認された。
• 本手法は冗長性を低減しつつも、高精度な照合を維持する最小限で効果的な特徴セットを選択している。
• アブレーションスタディにより、ランダムなレイヤー選択はRL最適化による選択に比べて著しく劣った性能を示し、学習ベース戦略の有効性が裏付けられた。
• 本手法はデータセット間で良好に一般化され、スケール変化、隠蔽、背景ノイズの処理において、ベースラインを一貫して上回る改善を示した。