[논문 리뷰] Progressive Correspondence Pruning by Consensus Learning

Chen Zhao, Yixiao Ge외 4명|arXiv (Cornell University)|2021. 01. 03.

Robotics and Sensor-Based Localization참고 문헌 45인용 수 9

한 줄 요약

이 논문은 국소-전반 공감 학습을 활용한 점진적 대응 관계 정제 방법을 제안하여, 매우 불균형하고 외곽선이 지배적인 대응 관계 집합에서 내측자 식별을 향상시킨다. 국소 및 전반 공감 점수를 추정하는 동적 그래프 기반 정제 블록을 스택하여, 점진적으로 외곽선을 걸러내며, 선형 피팅, 카메라 자세 추정, 이미지 정렬 벤치마크에서 최신 기술 수준 성능을 달성한다. YFCC100M에서 32.79%의 AUC@5°를 기록한다.

ABSTRACT

Correspondence selection aims to correctly select the consistent matches (inliers) from an initial set of putative correspondences. The selection is challenging since putative matches are typically extremely unbalanced, largely dominated by outliers, and the random distribution of such outliers further complicates the learning process for learning-based methods. To address this issue, we propose to progressively prune the correspondences via a local-to-global consensus learning procedure. We introduce a ``pruning'' block that lets us identify reliable candidates among the initial matches according to consensus scores estimated using local-to-global dynamic graphs. We then achieve progressive pruning by stacking multiple pruning blocks sequentially. Our method outperforms state-of-the-arts on robust line fitting, camera pose estimation and retrieval-based image localization benchmarks by significant margins and shows promising generalization ability to different datasets and detector/descriptor combinations.

연구 동기 및 목표

• 무작위 분포 외곽선이 지배하는 대응 관계 집합에서 내측자를 식별하는 데 도전하는 데 목적을 두며.
• 클래스 불균형과 무작위 외곽선 분포로 인해 어려움을 겪는 일회성 분류 방법의 한계를 극복하는 데 목적을 두며.
• 다양한 데이터셋과 검출기/기본형 조합에 걸쳐 강건성과 일반화 능력을 향상시키는 데 목적을 두며.
• 국소 및 전반 공감을 반복적으로 개선하는 점진적 정제 프레임워크를 개발하는 데 목적을 두며.

제안 방법

• 이 방법은 각 대응 관계에 대해 특징 공간 이웃 및 그 유사도를 사용하여 동적 국소 그래프를 구축하는 '정제' 블록을 도입한다.
• 환형 컨볼루션 레이어가 국소 특징을 집계하고, 이웃 환경의 맥락에 기반해 각 대응 관계의 국소 공감 점수를 계산한다.
• 국소 그래프가 융합되어 전반 그래프가 되며, 스펙트럼 그래프 컨볼루션 레이어가 전반 공감 점수를 계산하여 정제를 안내한다.
• 여러 개의 정제 블록을 순차적으로 스택하여 후보 집합을 점진적으로 개선하며, 반복 과정에서 외곽선 영향을 감소시킨다.
• 공감 점수의 분류 능력을 향상시키기 위해 적응형 온도 스케일링을 사용한다.
• 이 프레임워크는 엔드 투 엔드로 훈련되며 반복적으로 적용되며, 각 단계에서 고정된 샘플링 비율을 사용해 후보를 선택한다.

실험 결과

연구 질문

• RQ1 국소-전반 공감 학습을 통한 점진적 정제가 무작위 외곽선이 지배하는 매우 불균형한 대응 관계 집합에서 내측자 식별을 향상시킬 수 있는가?
• RQ2 무작위 외곽선 분포를 다룰 때 국소-전반 공감 학습은 일회성 분류 방법보다 어떻게 비교되는가?
• RQ3 반복적 정제가 최종 대응 관계 집합의 일관성과 정확성에 어떤 영향을 미치는가?
• RQ4 국소 공감, 전반 공감, 적응형 온도와 같은 개별 구성 요소가 전체 성능에 기여하는 바는 무엇인가?

주요 결과

• 제안된 방법은 YFCC100M 벤치마크에서 32.79%의 AUC@5°를 기록하여 기준 모델 PointCN 및 다른 최신 기술 수준 방법들을 크게 앞서며.
• 다중 반복 과정에서 정제된 후보의 내측자 비율이 20%에서 80%로 증가하여 일관성 향상을 시사하며.
• 제거 분석 결과 국소-전반 공감 학습이 공감 학습 없이 기반 모델에 비해 AUC 1.71%p 향상 기여함을 확인하며.
• 환형 컨볼루션 레이어가 MLP 및 최댓값 풀링보다 AUC 0.80%p 높은 성능을 보이며 국소 특징 집계의 효과성을 입증하며.
• 다양한 데이터셋과 검출기/기본형 조합에 걸쳐 강력한 일반화 능력을 유지하며 분포 이동에 대해 강건함을 보이며.
• 최적의 성능은 25% 샘플링 비율에서 달성되며, 정제 후 남은 매칭 수가 너무 적어지면 성능이 저하됨을 확인함.