[논문 리뷰] Learnable Motion Coherence for Correspondence Pruning

Yuan Liu, Lingjie Liu외 3명|arXiv (Cornell University)|2020. 11. 30.

Advanced Vision and Imaging참고 문헌 59인용 수 9

한 줄 요약

이 논문은 희박하고 노이즈가 많은 매칭에서 강력한 대응 관계 정제를 위한 운동 일관성 모델링을 위한 학습 가능한 신경망인 LMCNet을 제안한다. 그래프 라플라시안 기반의 매끄러운 함수 피팅을 통해 전역적 운동 일관성을 수식화함으로써, 일관된 운동 패tern의 미분 가능 학습이 가능해지며, 국소적 및 전역적 일관성을 통합하여 상대 카메라 자세 추정 및 동적 환경에서의 대응 관계 정제에서 최신 기술을 능가한다.

ABSTRACT

Motion coherence is an important clue for distinguishing true correspondences from false ones. Modeling motion coherence on sparse putative correspondences is challenging due to their sparsity and uneven distributions. Existing works on motion coherence are sensitive to parameter settings and have difficulty in dealing with complex motion patterns. In this paper, we introduce a network called Laplacian Motion Coherence Network (LMCNet) to learn motion coherence property for correspondence pruning. We propose a novel formulation of fitting coherent motions with a smooth function on a graph of correspondences and show that this formulation allows a closed-form solution by graph Laplacian. This closed-form solution enables us to design a differentiable layer in a learning framework to capture global motion coherence from putative correspondences. The global motion coherence is further combined with local coherence extracted by another local layer to robustly detect inlier correspondences. Experiments demonstrate that LMCNet has superior performances to the state of the art in relative camera pose estimation and correspondences pruning of dynamic scenes.

연구 동기 및 목표

• 다중 기하 모델이 존재할 수 있는 희박하고 균일하지 않은 분포를 가진 매칭에서 잘못된 대응 관계를 정제하는 과제를 해결한다.
• 수작업으로 설정된 운동 일관성 규칙의 한계를 극복하여 복잡한 운동 패턴에서 실패하는 문제를 해결한다.
• 희박한 대응 관계에서 전역적 운동 일관성을 학습 가능한 미분 가능한 프레임워크로 설계하여 신경망과의 엔드 투 엔드 학습을 가능하게 한다.
• 국소적 및 전역적 운동 일관성을 통합하여 고 outlier 비율 및 복잡한 운동 구조 조건에서도 내재된 관계 탐지의 강건성을 향상시킨다.

제안 방법

• 그래프 라플라시안 분해를 활용해 대응 관계 그래프 위에서 매끄러운 함수 피팅으로 운동 일관성을 모델링하는 새로운 수식인 라플라시안 운동 피팅(LMF)을 제안한다.
• 그래프 라플라시안의 고유분해를 통해 LMF의 폐쇄형 해를 유도함으로써 신경망 내에서 미분 가능한 계산을 가능하게 한다.
• 폐쇄형 LMF 해를 활용해 허위 대응 관계에서 전역적 운동 일관성을 학습하는 미분 가능한 일관성 잔차 레이어(CR-Layer)를 설계한다.
• 대응 관계의 국소적 이웃에서 운동 일관성이 유지되는 지원을 추출하는 국소 일관성 레이어(LC-Layer)를 개발한다.
• CR-Layer와 LC-Layer를 통합하여 대응 좌표 또는 특징을 입력으로 받아 내재된 관계 확률을 출력하는 딥 네트워크인 LMCNet을 설계한다.
• CR-Layer의 미분 가능성에 기반해 내재된 레이블에 대한 지도 학습을 통해 LMCNet을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 고 outlier 비율과 복잡한 운동 패턴이 존재하는 상황에서 학습 가능한, 미분 가능한 운동 일관성 수식이 대응 관계 정제 성능을 향상시킬 수 있는가?
• RQ2 그래프 라플라시안 기반의 매끄러운 함수 피팅으로 모델링된 전역적 운동 일관성은 수작업 규칙에 비해 내재된 관계 탐지 성능을 어떻게 향상시키는가?
• RQ3 전역적 및 국소적 운동 일관성을 통합할 경우, 동적 환경 및 상대 자세 추정 작업에서 강건성이 얼마나 향상되는가?
• RQ4 그래프 라플라시안 분해에서 사용하는 고유벡터의 수가 LMCNet의 성능에 얼마나 민감한가?
• RQ5 LMCNet은 현대적인 학습 기반 특징 추출기 및 매칭기와 효과적으로 통합되어 후행 자세 추정 정확도를 향상시킬 수 있는가?

주요 결과

• LMCNet은 상대 카메라 자세 추정에서 최신 기술을 초월하는 성능을 달성하였으며, YFCC100M 데이터셋에서 AUC@5°가 34.62%를 기록하였다.
• 동적 환경에서의 대응 관계 정제를 위한 DETRAC 데이터셋에서 LMCNet은 AUC@20°가 70.53%를 기록하여 비교된 모든 방법을 능가하였다.
• 제거 분석 결과, CR-Layer를 추가하면 기준 모델 대비 AUC@20°가 2.89% 향상되었으며, LC-Layer를 추가하면 추가로 1.67% 향상되었다.
• CR-Layer에서 고유벡터 수를 16개로 사용할 경우 성능이 크게 떨어지나, 64개로 늘일 경우 추가로 향상되지 않아 32개를 최적의 선택으로 입증하였다.
• LMCNet은 고 outlier 비율 조건에서도 높은 정밀도를 유지하며, 내재된 관계 수가 감소할수록 정밀도가 증가함으로써 강건한 신뢰도 캘리브레이션을 보였다.
• SuperPoint 및 SuperGlue와 조합했을 때, LMCNet은 AUC@20°를 33.26%에서 37.55%로 향상시켜 현대적인 학습 기반 파ipeline과의 뛰어난 호환성을 입증하였다.