[논문 리뷰] Efficient Neighbourhood Consensus Networks via Submanifold Sparse Convolutions

Ignacio Rocco, Relja Arandjelović외 1명|arXiv (Cornell University)|2020. 04. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 62인용 수 5

한 줄 요약

이 논문은 이미지 대응 추정을 위한 메모리 및 계산 효율적인 NCNet의 변종인 Sparse-NCNet을 제안한다. 상관관계 텐서를 희소화하고, 부분다양체 희소 4차원 컨볼루션을 적용함으로써, 메모리 사용량과 추론 시간을 10배 이상 줄였으며, HPatches, InLoc, Aachen Day-Night 벤치마크에서 최신 기술 수준의 성능을 유지한다. 두 단계로 구성된 재현도 모듈을 통해 국소화 정확도가 향상된다.

ABSTRACT

In this work we target the problem of estimating accurately localised correspondences between a pair of images. We adopt the recent Neighbourhood Consensus Networks that have demonstrated promising performance for difficult correspondence problems and propose modifications to overcome their main limitations: large memory consumption, large inference time and poorly localised correspondences. Our proposed modifications can reduce the memory footprint and execution time more than $10 imes$, with equivalent results. This is achieved by sparsifying the correlation tensor containing tentative matches, and its subsequent processing with a 4D CNN using submanifold sparse convolutions. Localisation accuracy is significantly improved by processing the input images in higher resolution, which is possible due to the reduced memory footprint, and by a novel two-stage correspondence relocalisation module. The proposed Sparse-NCNet method obtains state-of-the-art results on the HPatches Sequences and InLoc visual localisation benchmarks, and competitive results in the Aachen Day-Night benchmark.

연구 동기 및 목표

• Neighbourhood Consensus Networks (NCNet)의 높은 메모리 소비와 느린 추론 속도가 실용적 구현을 제한하므로 이를 해결하기 위해.
• 새로운 재현도 모듈을 통해 NCNet의 대응 국소화 정확도를 향상시키기 위해, 공간 정밀도를 향상시키기 위해.
• 희소성 덕분에 고해상도 입력 처리를 가능하게 하여, 계산 비용을 증가시키지 않고도 특징 국소화를 향상시키기 위해.
• 극한의 조도 및 시점 변화 조건에서 도전적인 벤치마크인 HPatches Sequences, InLoc, Aachen Day-Night에서 최신 기술 수준의 성능을 달성하기 위해.
• 3D 재구성 및 시각적 국소화와 같은 실세계 응용 분야에서 엔드 투 엔드 학습이 가능한, 특징 추출, 매칭, 필터링의 통합 최적화를 실현하기 위해.

제안 방법

• NCNet의 밀도 있는 상관관계 텐서를 희소 표현으로 대체하여, 메모리와 계산을 줄이기 위해 가장 유망한 일시적 대응만 저장한다.
• 부분다양체 희소 컨볼루션을 사용한 4차원 컨volution 신경망을 적용하여 희소 상관관계 텐서를 효율적으로 처리함으로써, 공간적 구조를 유지하면서도 계산을 최소화한다.
• 두 단계로 구성된 대응 재현도 모듈을 도입함: 먼저 코arse-to-fine 전략을 사용해 대응을 정밀하게 조정하고, 그 다음 다른 가중치를 가진 미분 가능한 회귀 헤드를 사용해 공간 위치를 정밀하게 조정한다.
• 낮은 메모리 프로파일 덕분에 고해상도 입력 이미지를 처리할 수 있으며, 계산 비용을 증가시키지 않고도 더 정밀한 국소화를 가능하게 한다.
• 전체 파ipeline는 엔드 투 엔드로 미분 가능하여, 특징 추출, 매칭, 필터링의 공동 최적화를 가능하게 한다.
• 모델은 표준 대비 손실과 진짜 대응에 대한 지도 학습을 사용해 훈련되며, 추론은 최종 희소 출력에 대해 탐욕적 매칭을 통해 수행된다.

실험 결과

연구 질문

• RQ1 NCNet의 메모리 및 계산 비용을 정확도 손실 없이 줄일 수 있는가?
• RQ2 부분다양체 희소 컨볼루션은 희소 4차원 상관관계 텐서를 효과적으로 처리하여 추론 속도를 향상시키고 메모리 사용량을 줄일 수 있는가?
• RQ3 희소성 덕분에 가능해진 고해상도 입력 처리가 대응의 국소화 정확도를 향상시키는가?
• RQ4 두 단계로 구성된 재현도 모듈이 예측된 대응의 공간 정밀도를 크게 향상시킬 수 있는가?
• RQ5 제안된 Sparse-NCNet은 극한의 조도 및 시점 변화 조건이 존재하는 벤치마크에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• Sparse-NCNet은 원본 NCNet 대비 메모리 소비를 최대 20배 줄였고, 추론 시간은 10배 이상 단축시켰으며, 정확도는 동일하게 유지한다.
• HPatches Sequences 벤치마크에서 최신 기술 수준의 성능를 달성했으며, 시점 및 조도 변화가 극한인 조건에서도 이전 방법들을 능가한다.
• InLoc 벤치마크에서 200×150 해상도에서 두 단계 재현도 모듈을 사용한 Sparse-NCNet은 새로운 최신 기술 수준 성능를 기록했으며, NCNet 및 이전 방법들을 모두 능가한다.
• Aachen Day-Night 벤치마크에서 68.4%의 쿼리가 1m 이내 및 5도 이내로 국소화되었으며, 1m/5도 기준 최신 기술 수준의 성능를 달성했다.
• Aachen Day-Night의 야간 쿼리 98개 중 67개를 성공적으로 국소화했으며, 파rameter 수가 적고 메모리 사용량이 낮음에도 불구하고 R2D2 및 D2-Net과 동등하거나 그 이상의 성능를 보였다.
• 정성적 결과는 메서드가 공간적으로 일관된 매칭 그룹을 생성하며, 높은 신뢰도의 매칭이 명확한 클러스터를 형성함을 보여주어, 더 높은 강인성과 국소화 정확도를 의미한다.