[論文レビュー] AutoScaler: Scale-Attention Networks for Visual Correspondence

Shenlong Wang, Linjie Luo+2 more|arXiv (Cornell University)|Nov 17, 2016

Advanced Image and Video Retrieval Techniques参考文献 40被引用数 3

ひとこと要約

AutoScalerは、視覚的対応の正確性を向上させるために、学習可能でエンド・トゥ・エンドな方法でマルチスケール特徴マップを適応的に組み合わせるスケールアテンションネットワークを提案する。共有重み特徴ネットワークとスケールアテンション機構を用いることで、Sintel、KITTI、CUB-2011を含むオプティカルフローおよびセマンティックマッチングベンチマークで最先端の性能を達成し、領域ごとの最適なスケール使用法を強調する解釈可能なアテンションマップを生成する。

ABSTRACT

Finding visual correspondence between local features is key to many computer vision problems. While defining features with larger contextual scales usually implies greater discriminativeness, it could also lead to less spatial accuracy of the features. We propose AutoScaler, a scale-attention network to explicitly optimize this trade-off in visual correspondence tasks. Our network consists of a weight-sharing feature network to compute multi-scale feature maps and an attention network to combine them optimally in the scale space. This allows our network to have adaptive receptive field sizes over different scales of the input. The entire network is trained end-to-end in a siamese framework for visual correspondence tasks. Our method achieves favorable results compared to state-of-the-art methods on challenging optical flow and semantic matching benchmarks, including Sintel, KITTI and CUB-2011. We also show that our method can generalize to improve hand-crafted descriptors (e.g Daisy) on general visual correspondence tasks. Finally, our attention network can generate visually interpretable scale attention maps.

研究の動機と目的

• 視覚的対応における空間的正確性と文脈的識別性のトレードオフを、スケール選択の最適化によって解決すること。
• マルチスケール特徴に対する学習可能なアテンション機構を通じて、画像の異なる領域に適応的な受容場サイズを実現すること。
• 手動で設計されたスケール選択ルールに依存せずに、オプティカルフローおよびセマンティックマッチングなどの密な対応タスクにおける性能を向上させること。
• 一般の対応タスクにおいて、Daisyのような手作業で設計された記述子を拡張できること。
• 視覚的に解釈可能なスケールアテンションマップを生成し、どの場所で、なぜどのスケールが選択されたかを明らかにすること。

提案手法

• ネットワークは、入力画像を複数の解像度で処理する重み共有特徴抽出器を用いてマルチスケール特徴マップを計算する。
• アテンションネットワークは、入力画像に基づきピクセル単位のアテンションマップを予測し、各スケールの寄与度を動的に重みづける。
• 最終的な特徴マップは、予測されたアテンションマップを用いたマルチスケール特徴の重み付き和として構成され、適応的受容場を実現する。
• 対応学習のためのコントラスト損失を用いて、シアンプルフレームワーク内でエンド・トゥ・エンドで全モデルを訓練する。
• アテンション機構はスケールラベルの明示的教師信号なしに訓練され、データから最適なスケール組み合わせを学習する。
• この手法は、固定スケール特徴を学習されたマルチスケール特徴に置き換えることで、手作業で設計された記述子の性能を向上させることで一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティックなスケール選択に依存せずに、深層学習モデルがマルチスケール特徴を最適に組み合わせて視覚的対応を達成できるか？
• RQ2 適応的スケール重み付けは、多様なシーンや物体スケールにおいて対応正確性をどのように向上させるか？
• RQ3 アテンション機構は、ネットワークのスケール選択戦略を反映する解釈可能なマップを生成できるか？
• RQ4 提案手法は、Daisyのような既存の手作業で設計された記述子を向上させることに一般化できるか？
• RQ5 Sintel、KITTI、CUB-2011のような困難なベンチマークにおいて、最先端の手法と比較して、モデルの性能はいかがなっているか？

主な発見

• Sintelベンチマークでは、クリーンおよび最終パス評価の両方で最先端の性能を達成し、サブピクセル正確性において先行手法を上回った。
• KITTI 2015オプティカルフローベンチマークでは、全ピクセルで25.64％のオーバーライト率を達成し、深層学習ベースの手法の中でも好成績を収めた。
• CUB-2011セマンティックマッチングデータセットでは、小さな閾値（α < 0.5）に対して最高のPCK@αを達成し、優れたサブピクセル正確性を示した。
• より大きな閾値（α ≥ 1.0）では、ユニバーサルコアポンデンスネットワークに次いで2位となり、セマンティック推論における強力な一般化能力を示した。
• ネットワークが生成するアテンションマップは視覚的に解釈可能であり、テクスチャが豊富な領域では細かいスケールに高いアテンションが集中し、テクスチャが乏しい領域では粗いスケールに注目している。
• Daisyのような手作業で設計された記述子は、学習されたマルチスケール特徴に置き換えることで性能が向上し、強力な一般化能力を示した。