[논문 리뷰] SPair-71k: A Large-scale Benchmark for Semantic Correspondence

Juhong Min, Jong‐Min Lee외 2명|arXiv (Cornell University)|2019. 08. 28.

Advanced Image and Video Retrieval Techniques참고 문헌 13인용 수 69

한 줄 요약

SPair-71k는 다양한 시점과 스케일에 걸친 70,958개의 이미지 쌍과 풍부한 주석, 최신 방법에 대한 baseline 결과를 포함하는 시맨틱 매칭의 대규모 벤치마크를 도입합니다.

ABSTRACT

Establishing visual correspondences under large intra-class variations, which is often referred to as semantic correspondence or semantic matching, remains a challenging problem in computer vision. Despite its significance, however, most of the datasets for semantic correspondence are limited to a small amount of image pairs with similar viewpoints and scales. In this paper, we present a new large-scale benchmark dataset of semantically paired images, SPair-71k, which contains 70,958 image pairs with diverse variations in viewpoint and scale. Compared to previous datasets, it is significantly larger in number and contains more accurate and richer annotations. We believe this dataset will provide a reliable testbed to study the problem of semantic correspondence and will help to advance research in this area. We provide the results of recent methods on our new dataset as baselines for further research. Our benchmark is available online at http://cvlab.postech.ac.kr/research/SPair-71k/.

연구 동기 및 목표

• 시야각(뷰포인트), 스케일, 잘림(truncation), 가림(occlusion) 변 Variation을 포괄하는 대규모이고 다양한 시맨틱 대응 데이터셋을 구축한다.
• 심층 분석을 가능하게 하는 키포인트, 마스크, 바운딩 박스, 방위각(azimuths) 등 다면적인 풍부한 주석을 제공한다.
• 공정하고 재현 가능한 벤치마킹을 가능하게 하는 명확한 학습/검증/테스트 분할을 만든다.
• 시맨틱 매칭 연구의 향후 방향을 제시하기 위한 최근 방법들의 기준 결과를 제공한다.

제안 방법

• PASCAL VOC 2012와 PASCAL 3D+의 18개 카테고리에서 1,800장의 이미지로 SPair-71k를 구성한다.
• 페어 레벨 주석을 위해 객체 키포인트, 바운딩 박스, 마스크, 방위각(azimuths), 잘림(truncation) 및 가림(occlusion) 레이블을 주석한다.
• 페어 레벨 주석과 함께 70,958개의 이미지 쌍을 생성하고 학습/검증/테스트 분할은 서로 겹치지 않도록 한다(53,340/5,384/12,234).
• 시점(view-point), 스케일, 잘림, 가림에 따른 페어 난이도를 쉬움/보통/어려움 또는 없음/출발지(src)/목표지(tgt)/양방향(both) 카테고리로 정의한다.
• 강체 카테고리에 대해 각도를 양자화하여 방위각 기반 시점을 부여하고 비강체 카테고리에 대해서는 수동 주석을 제공한다.
• 여러 방법(CNNGeo, A2Net, WeakAlign, NC-Net, HPF)의 baseline 결과를 발표하고 변이 요인하에서의 성능을 분석한다.

실험 결과

연구 질문

• RQ1 대규모이고 풍부하게 주석된 벤치마크가 시맨틱 매칭 방법의 평가 및 개발에 어떤 영향을 미치는가?
• RQ2 SPair-71k에서 최근 최첨단 방법의 성능은 어떠하며 저자 baselines와 어떻게 비교되는가?
• RQ3 서로 다른 변이 요인들(시점, 스케일, 잘림, 가림)이 시맨틱 매칭 성능에 어떤 영향을 미치는가?
• RQ4 SPair-71k에서 시점 및 스케일 변화에 대해 영역 기반 매칭 방법이 이미지 전체 정합 접근법보다 더 강인한가?
• RQ5 미세조정된 모델이 SPair-71k에서 다른 데이터셋으로 훈련된 모델과 비교해 어떤 성능을 보이는가?

주요 결과

• SPair-71k는 다양한 시점 및 스케일 변형을 가진 70,958개의 쌍(train/val/test: 53,340/5,384/12,234)을 포함한다.
• baseline 결과는 방법에 따라 성능 차이가 있으며, 최적의 결과를 얻으려면 일부 방법은 SPair-71k에서의 파인튜닝이 필요하다.
• PCK 분석에 따르면 변 variation이 작을수록 모델의 성능이 좋으며, 시점과 스케일 변화가 정확도에 크게 영향을 준다.
• 영역 매칭 방식이 전반적 이미지 정합 방식보다 시점 변화에 더 강인한 경향이 있다.
• 개별 변화를 통제하면 시점 변화가 전역 정합을 영역 기반보다 더 악화시키며, 잘림과 가림도 성능에 영향을 주지만 시점/스케일보다 덜하다.
• SPair-71k은 요인별 PCK 결과를 통해 변이 요인에 대한 상세 분석을 가능하게 한다(표 4 및 표 5).