[논문 리뷰] Learning Two-View Correspondences and Geometry Using Order-Aware Network

Jiahui Zhang, Dawei Sun외 7명|arXiv (Cornell University)|2019. 08. 14.

Advanced Vision and Imaging참고 문헌 45인용 수 54

한 줄 요약

이 논문은 Order-Aware Network (OANet)을 도입하여 희소 대응의 inlier 확률과 에센셜 매트릭스를 함께 회귀하고, 로컬 및 글로벌 맥락을 포착하기 위해 DiffPool, Order-Aware DiffUnpool, 및 Order-Aware Filtering 블록을 사용하여 향상된 두 뷰 기하 추정을 제시한다.

ABSTRACT

Establishing correspondences between two images requires both local and global spatial context. Given putative correspondences of feature points in two views, in this paper, we propose Order-Aware Network, which infers the probabilities of correspondences being inliers and regresses the relative pose encoded by the essential matrix. Specifically, this proposed network is built hierarchically and comprises three novel operations. First, to capture the local context of sparse correspondences, the network clusters unordered input correspondences by learning a soft assignment matrix. These clusters are in a canonical order and invariant to input permutations. Next, the clusters are spatially correlated to form the global context of correspondences. After that, the context-encoded clusters are recovered back to the original size through a proposed upsampling operator. We intensively experiment on both outdoor and indoor datasets. The accuracy of the two-view geometry and correspondences are significantly improved over the state-of-the-arts. Code will be available at https://github.com/zjhthu/OANet.git.

연구 동기 및 목표

• 희소 대응에서 로컬 및 글로벌 맥락을 모두 활용하여 정확한 두 뷰 기하를 추정하는 것을 동기화한다.
• 사전 정의된 이웃 없이 로컬 컨텍스트를 포착하기 위해 대응의 순열-불변 클러스터링을 개발한다.
• 원래 대응으로의 계층적 맥락 모델링과 정밀한 업샘플링을 가능하게 한다.
• 가중화된 미분가능한 8-점 알고리즘(g(w, C))를 통해 엔드투엔드로 에센셜 매트릭스를 복구한다.
• 이전 방법과 비교하여 실외 및 실내 데이터셋에서 자세 추정이 향상됨을 시연한다.

제안 방법

• 비순서 대응을 하나의 표준 순서로 클러스터링하기 위해 Differentiable Pooling (DiffPool)을 도입한다.
• 순서 인식을 갖춘 Order-Aware Differentiable Unpooling (DiffUnpool)을 개발하여 클러스터를 원래 대응으로 업샘플한다.
• 표준 순서로 클러스터를 상관시키며 글로벌 맥락을 모델링하는 Order-Aware Filtering 블록을 추가한다.
• 순열-등가적인 f_phi를 사용하여 각 대응에 대한 로짓 z와 inlier 가능도 가중치 w를 생성한다.
• 가중화된 미분가능한 8-점 알고리즘 g(w, C)를 통해 에센셜 매트릭스 E_hat를 회귀한다.
• inlier 분류 손실과 에센셜 매트릭스 손실(L2 또는 기하 손실)의 조합으로 학습한다.

실험 결과

연구 질문

• RQ1 희소 대응의 순열-불변 클러스터링이 로컬 맥락을 포착하여 이상치 제거를 개선할 수 있는가?
• RQ2 학습된 풀링/언풀링의 계층과 순서 인식 필터링이 이중 뷰 기하의 글로벌 맥락을 더 잘 모델링하는가?
• RQ3 대응에 대한 엔드-투-엔드 미분가능한 가중화가 전통적 강건 방법을 넘어 에센셜 매트릭스 회귀를 개선하는가?
• RQ4 제안된 구성요소들(DiffPool, DiffUnpool, Order-Aware Filtering)이 실외 및 실내 조건에서 상대 자세 정확도에 미치는 영향은 무엇인가?

주요 결과

• 제안된 DiffPool 및 Order-Aware DiffUnpool는 대응을 표준 순서로 클러스터링하고 업샘플링하도록 학습을 가능하게 하여 로컬 맥락 모델링을 향상시킨다.
• Order-Aware Filtering 블록은 네트워크의 두 번째 계층에서 기본 블록인 PointCN보다 전역 맥락 모델링을 크게 향상시킨다.
• 절제 실험(ablation studies)은 Order-Aware DiffUnpool이 주목할 만한 이득을 낳는다고 보여주었으며(예: RANSAC 없이 미지의 장면에서 베이스라인 대비 5.23% 향상).
• PointCN 블록을 Order-Aware Filtering 블록으로 대체하면 추가 이득이 생기며, 특히 RANSAC 없이 미지의 장면에서 더 큰 향상을 보인다.
• 반복 네트워크 변형과 기하 손실은 성능을 더욱 강화하며, 실외(YFCC100M) 및 실내(SUN3D) 데이터셋에서 일관된 개선을 보인다.
• 기저선(PointCN, PointNet++, N3Net, DFE)과 비교할 때 제안된 방법은 다양한 설정에서 최고 mAP를 달성하며, 미지의 장면 및 RANSAC 사용 여부에 관계없이 우수한 성능을 보인다.