[논문 리뷰] Matchable Image Retrieval by Learning from Surface Reconstruction

Tianwei Shen, Zixin Luo외 5명|arXiv (Cornell University)|2018. 11. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 43인용 수 9

한 줄 요약

이 논문은 밀도 있는 3D 표면 재구성 기반으로 세분화된 훈련 데이터를 생성함으로써, 3D 재구성에 필수적인 겹치는 이미지를 검색하기 위한 CNN 기반 방법을 제안한다. 기하학적 특징을 고려한 배치 마스크 트리플릿 손실과 메시 재투영 기반으로 기하학적 인식 특징을 학습하며, 기존 BoW 모델 및 이전 CNN 방법에 비해 매칭 가능한 검색 벤치마크에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

Convolutional Neural Networks (CNNs) have achieved superior performance on object image retrieval, while Bag-of-Words (BoW) models with handcrafted local features still dominate the retrieval of overlapping images in 3D reconstruction. In this paper, we narrow down this gap by presenting an efficient CNN-based method to retrieve images with overlaps, which we refer to as the matchable image retrieval problem. Different from previous methods that generates training data based on sparse reconstruction, we create a large-scale image database with rich 3D geometrics and exploit information from surface reconstruction to obtain fine-grained training data. We propose a batched triplet-based loss function combined with mesh re-projection to effectively learn the CNN representation. The proposed method significantly accelerates the image retrieval process in 3D reconstruction and outperforms the state-of-the-art CNN-based and BoW methods for matchable image retrieval. The code and data are available at https://github.com/hlzz/mirror.

연구 동기 및 목표

• 3D 재구성에 있어 기하학적 겹침이 핵심임에도 불구하고, CNN 기반 방법과 BoW 방법 간의 성능 격차를 해소하기 위해 기하학적 겹침이 핵심 기준임을 고려한 매칭 가능한 이미지 검색을 수행한다.
• 기존 CNN 방법의 한계를 극복하기 위해, 객체 검색 데이터셋에서 훈련된 방법들은 국소적 기하학적 겹침을 포착하지 못한다는 점을 해결한다.
• 데이터 편향을 줄이고 실제 3D 재구성 시나리오에서의 훈련을 가능하게 하기 위해 대규모 기하학적 특징이 풍부한 데이터셋(GL3D)을 개발한다.
• 밀도 있는 대응 관계를 활용한 자기지도 학습 파이pline을 설계하여 세분화되고 겹침 인식 훈련 데이터를 생성한다.
• 지역 정보와 기하학적 일관성을 통합한 효율적이고 확장 가능한 훈련 목표를 설계하여 겹치는 이미지에서의 검색 정확도를 향상시킨다.

제안 방법

• 378개의 시나리오와 완전한 3D 재구성을 포함한 대규모 SfM 데이터셋인 GL3D를 구축하여, 훈련에 대한 풍부한 기하학적 감독을 제공한다.
• 3D 메시 재구성에서 유도된 밀도 있는 대응 관계를 사용하여 자동으로 지도 훈련 데이터를 생성하며, 이미지 겹침 영역을 나타내는 겹침 마스크를 생성한다.
• 겹침이 있는 이미지 쌍에 대해 특징 임bedding을 가깝게 만들고, 겹침이 없는 쌍은 분리하도록 유도하는 배치 마스크 트리플릿 손실(MTL)을 제안한다.
• 훈련 중 메시 재투영을 통합하여 특징을 3D 메시 표면에 다시 투영함으로써 기하학적 일관성을 강제한다.
• 지역 매칭을 활용한 후처리 단계를 적용하여 국소적 특징 정렬을 통해 검색 결과를 정밀하게 개선한다.
• 대규모 데이터셋에서의 훈련 속도 향상과 최적화 효율 향상을 위해 배치 내 마이닝 기법을 적용한다.

실험 결과

연구 질문

• RQ1 기하학적 겹침이 주요 기준인 매칭 가능한 이미지 검색에서 CNN 기반 방법이 기존 BoW 모델을 능가할 수 있는가?
• RQ2 3D 표면 재구성을 어떻게 활용하여 고품질의 세분화된 훈련 데이터를 생성할 수 있는가?
• RQ3 전역 임bedding과 국소 영역 정보를 모두 통합한 손실 함수가 겹치는 이미지에서의 검색 성능 향상에 기여하는가?
• RQ4 대규모 기하학적 특징이 풍부한 데이터셋(GL3D)에서 훈련하면 기존의 표준 객체 검색 벤치마크에서의 데이터 편향을 줄일 수 있는가?
• RQ5 메시 재투영과 겹침 마스크의 통합이 3D 재구성 파이프라인에서 더 견고하고 정확한 특징 학습을 이끌 수 있는가?

주요 결과

• 제안된 방법은 최신 기술인 siaMAC 및 NetVLAD와 같은 CNN 기반 방법을 능가하며, SfM에서 매칭 가능한 이미지 검색에서 BoW 모델 수준의 성능을 달성한다.
• 마드리드 메트로폴리탄 데이터셋에서, 방법은 상위 100개 후보에서 494개의 이미지를 검색했으며, siaMAC(433개), NetVLAD(467개)보다 10% 향상된 성능를 보였다.
• 젠다르멘마르크 장면에서, 방법은 상위 100개 후보에서 1,049개의 이미지를 검색했으며, siaMAC(977개), NetVLAD(1,002개)를 초월했고, 재구성 정확도는 유사한 수준을 유지했다.
• 아츠쿼드 데이터셋(6,514개 이미지)에서, 방법은 상위 100개 후보에서 5,887개의 이미지를 검색했으며, 상위 115개 후보에서는 6,030개를 검색했으며, BoW 성능에 가까운 결과를 보였고, 대칭성 또한 우수했다.
• CNN 기반 베이스라인 대비 더 낮은 재투영 오차(0.58px–0.67px)와 더 긴 트랙 길이를 기록하여 SfM 파이프라인 내 정렬 및 일관성의 우수함을 입증했다.
• 제거 분석 결과, 마스크 트리플릿 손실에 메시 재투영을 통합한 것이 성능 향상에 뚜렷한 기여를 했으며, 특히 무늬가 있는 장면에서 두드러진 성능 향상을 보였다. 반면, 무늬가 없는 장면에서는 여전히 BoW가 더 우수한 성능를 보였다.