[論文レビュー] SPair-71k: A Large-scale Benchmark for Semantic Correspondence

Juhong Min, Jong‐Min Lee+2 more|arXiv (Cornell University)|Aug 28, 2019

Advanced Image and Video Retrieval Techniques参考文献 13被引用数 69

ひとこと要約

SPair-71kは、多様な視点とスケールにまたがる70,958組の画像ペアを含む、セマンティック対応の大規模ベンチマークを紹介し、豊富な注釈と最近手法のベースライン結果を提供します。

ABSTRACT

Establishing visual correspondences under large intra-class variations, which is often referred to as semantic correspondence or semantic matching, remains a challenging problem in computer vision. Despite its significance, however, most of the datasets for semantic correspondence are limited to a small amount of image pairs with similar viewpoints and scales. In this paper, we present a new large-scale benchmark dataset of semantically paired images, SPair-71k, which contains 70,958 image pairs with diverse variations in viewpoint and scale. Compared to previous datasets, it is significantly larger in number and contains more accurate and richer annotations. We believe this dataset will provide a reliable testbed to study the problem of semantic correspondence and will help to advance research in this area. We provide the results of recent methods on our new dataset as baselines for further research. Our benchmark is available online at http://cvlab.postech.ac.kr/research/SPair-71k/.

研究の動機と目的

• 大きく、多様な視点、スケール、切り出し/切断、遮蔽変化をカバーするセマンティック対応のデータセットを確立する。
• 詳密な解析を可能にする、キーポイント、マスク、境界ボックス、方位角など多面的な注釈を提供する。
• 公正で再現可能なベンチマークを実現するための明確な訓練/検証/テスト分割を作成する。
• セマンティック対応の将来研究を指針づけるため、最近の手法のベースライン結果を提供する。

提案手法

• SPair-71kを、PASCAL VOC 2012およびPASCAL 3D+から18カテゴリにわたる1,800画像から構築する。
• ペアレベルの注釈として、オブジェクトのキーポイント、境界ボックス、マスク、方位角、切断/遮蔽ラベルを注釈する。
• ペアレベルの注釈と共に、独立した訓練/検証/テスト分割（53,340/5,384/12,234）を持つ70,958組の画像ペアを生成する。
• 視点、スケール、切断、遮蔽を、easy/medium/hard または none/src/tgt/both カテゴリの組み合わせで、ペアの難易度として定義する。
• rigidカテゴリの角度を量子化して方位角ベースの視点ラベリングを提供し、非剛体カテゴリには手動注釈を行う。
• 複数の手法（CNNGeo、A2Net、WeakAlign、NC-Net、HPF）のベースライン結果を公表し、変動要因ごとの性能を分析する。

実験結果

リサーチクエスチョン

• RQ1 大規模で豊富に注釈されたベンチマークが、セマンティック対応手法の評価と開発にどのような影響を与えるか。
• RQ2 SPair-71kにおける最近の最先端手法の性能はどうか、著者のベースラインとどう比較されるか。
• RQ3 視点、スケール、切断、遮蔽といった異なる変動因子がセマンティック対応性能にどう影響するか。
• RQ4 SPair-71kで、領域ベースのマッチング手法は視点やスケールの変化に対して、画像全体の整列アプローチより頑健か。
• RQ5 微調整済みモデルは、他データセットで訓練したモデルと比べてSPair-71kでどう性能を発揮するか。

主な発見

• SPair-71kには、多様な視点とスケール変化を伴う70,958組のペア（訓練/検証/テスト: 53,340/5,384/12,234）が含まれる。
• ベースライン結果は手法ごとに性能が異なることを示しており、最高の結果を得るにはSPair-71kでの微調整を要する手法もある。
• PCK分析は、変動が小さいペアでモデルがより良く機能し、視点とスケールの変化が精度に大きく影響することを示す。
• 領域マッチング手法は、視点変化に対して、グローバルな画像整列手法より頑健である傾向がある。
• 個々の変動を統制すると、視点の変化がグローバル整列を領域ベース手法よりも劣化させることがわかる。切断と遮蔽も性能に影響するが、視点/スケールほどではない。
• SPair-71kは、各因子別のPCK結果（表4および表5）を通じた変動要因の詳細分析を可能にする。