[논문 리뷰] Neighbourhood Consensus Networks

Ignacio Rocco, Mircea Cimpoi외 4명|arXiv (Cornell University)|2018. 10. 24.

Transportation and Mobility Innovations인용 수 153

한 줄 요약

NC-Net는 글로벌 기하학 모델 없이 매치를 모호하게 만드는 모든 밀집 이미지 대응 집합에 대해 학습 가능한 이웃 합의 메커니즘을 제안하고, 약한 감독으로 학습되어 카테고리 및 인스턴스 수준 매칭(PF-Pascal 및 InLoc)에서 최첨단 성능을 달성한다.

ABSTRACT

We address the problem of finding reliable dense correspondences between a pair of images. This is a challenging task due to strong appearance differences between the corresponding scene elements and ambiguities generated by repetitive patterns. The contributions of this work are threefold. First, inspired by the classic idea of disambiguating feature matches using semi-local constraints, we develop an end-to-end trainable convolutional neural network architecture that identifies sets of spatially consistent matches by analyzing neighbourhood consensus patterns in the 4D space of all possible correspondences between a pair of images without the need for a global geometric model. Second, we demonstrate that the model can be trained effectively from weak supervision in the form of matching and non-matching image pairs without the need for costly manual annotation of point to point correspondences. Third, we show the proposed neighbourhood consensus network can be applied to a range of matching tasks including both category- and instance-level matching, obtaining the state-of-the-art results on the PF Pascal dataset and the InLoc indoor visual localization benchmark.

연구 동기 및 목표

• 로컬 이웃 합의 패턴을 활용하여 도전적인 밀집 이미지 매치를 모호함 없이 구분한다.
• 밀집 매칭에서 명시적 글로벌 기하학 모델의 필요성을 제거한다.
• 이미지-쌍 레이블만을 사용한 약한 감독으로의 효과적인 학습을 입증한다.
• 카테고리 수준 및 인스턴스 수준 매칭 작업 모두에 적용 가능함을 보여준다.
• 포즈 추정 및 의미적 정합과 같은 다운스트림 작업과 인터페이스하는 확장 가능한 밀집 매칭 프레임워크를 제공한다.]
• method:[

제안 방법

• CNN 백본을 사용하여 두 이미지에 대한 밀집 특징 설명자를 계산한다.
• 두 이미지 간의 모든 쌍 특징 유사도의 4-D 상관 맵 c를 구성한다.
• 4-D 이웃 합의 CNN N(·)을 적용하여 4-D 매칭 공간에서 로컬 기하학적 패턴을 학습한다.
• 소프트 상호 최단 이웃 필터링 M(·)을 적용하여 소프트 글로벌 상호대칭 제약을 강제한다.
• 소프트맥스 기반 방향 점수 s^A 및 s^B를 통해 대응을 추출하여 점-대-점 매치를 얻는다.
• 할당된 매치 점수의 평균을 사용하여 양의 이미지 쌍과 음의 쌍을 구분하는 약한 감독 손실로 엔드투엔드로 학습한다.

실험 결과

연구 질문

• RQ1 4-D 합성곱 네트워크가 글로벌 기하학 모델 없이도 신뢰할 수 있는 밀집 매칭을 위한 이웃 합의 패턴을 학습할 수 있는가?
• RQ2 밀집 점-별 주석이 아니라 이미지-쌍 레벨의 약한 감독만으로도 이러한 네트워크를 학습하는 것이 가능한가?
• RQ3 밀집 이웃 합의 기반 매치가 카테고리 수준과 인스턴스 수준 매칭 작업 모두에서 성능을 향상시키는가?
• RQ4 학습된 밀집 대응이 실내 위치추정 및 시맨틱 키포인트 전달과 같은 다운스트림 작업을 향상시키는가?

주요 결과

• NC-Net 아키텍처는 전체 밀집 매칭 집합에서 로컬 이웃 패턴을 학습하고 글로벌 모델 없이도 신뢰할 수 있는 밀집 대응을 생성한다.
• 모델은 이미지-쌍 레이블을 사용한 약한 감독으로 처음부터 학습이 가능하여 비용이 많이 드는 점별 주석을 피한다.
• NC-Net은 카테고리 수준 PF-Pascal에서 최첨단 성능을 달성하고 InLoc 벤치마크에서 인스턴스 수준 실내 위치추정을 개선한다.
• InLoc 파이프라인에 NC-Net을 통합하면 희박한 특징점 매칭 및 기존 CNN 기반 매칭 방법을 포함한 베이스라인 대비 위치 추정 성능이 향상된다.
• 소프트 상호 최단 이웃 필터링은 학습 및 추론 중 글로벌 대칭 제약을 미분 가능하게 강제하는 방법을 제공한다.
• 이 접근 방식은 강건한 밀집 대응을 제공함으로써 밀집 포즈 추정 유사 작업과 시맨틱 키포인트 전달을 모두 지원한다.