[논문 리뷰] A Performance Evaluation of Local Features for Image Based 3D Reconstruction

Bin Fan, Qingqun Kong외 5명|arXiv (Cornell University)|2017. 12. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 55인용 수 7

한 줄 요약

이 논문은 지정된 3D 점이 있는 통제된 DTU MVS 데이터셋과 간섭자가 있는 인터넷 규모의 데이터셋을 사용하여 최신의 국소적 특징(부동소수점 및 이진 유형)을 이미지 기반 3D 재구성에 대해 평가한다. 결과적으로 통제된 조건에서는 이진 특징이 속도와 정확도 면에서 부동소수점 특징을 능가하는 것으로 나타났으며, 대규모 간섭자가 많은 환경에서는 특히 학습된 특징(L2Net, VGGDesc)을 포함한 부동소수점 특징이 이진 특징을 크게 능가한다.

ABSTRACT

This paper performs a comprehensive and comparative evaluation of the state of the art local features for the task of image based 3D reconstruction. The evaluated local features cover the recently developed ones by using powerful machine learning techniques and the elaborately designed handcrafted features. To obtain a comprehensive evaluation, we choose to include both float type features and binary ones. Meanwhile, two kinds of datasets have been used in this evaluation. One is a dataset of many different scene types with groundtruth 3D points, containing images of different scenes captured at fixed positions, for quantitative performance evaluation of different local features in the controlled image capturing situations. The other dataset contains Internet scale image sets of several landmarks with a lot of unrelated images, which is used for qualitative performance evaluation of different local features in the free image collection situations. Our experimental results show that binary features are competent to reconstruct scenes from controlled image sequences with only a fraction of processing time compared to use float type features. However, for the case of large scale image set with many distracting images, float type features show a clear advantage over binary ones.

연구 동기 및 목표

• 고립된 매칭 벤치마크를 넘어서, 현대적인 국소적 특징의 종단 간 전반적 성능을 평가하는 것.
• 수작업된 특징과 학습된 특징(부동소수점 및 이진 유형 모두)이 재구성 정확도, 완전성, 효율성에 미치는 영향을 비교하는 것.
• 두 가지 다른 실제 환경에서의 특징 성능 변화를 평가하는 것: 지정된 3D 점이 있는 통제된 이미지 촬영 조건과 간섭자가 많은 대규모, 순서가 없는 인터넷 이미지 세트.
• 최근의 학습 기반 기술(예: L2Net, VGGDesc)과 전통적인 기술(예: SIFT, LIOP)이 다양한 조건에서 어떤 특징이 더 뛰어난 재구성 성능을 보이는지 파악하는 것.
• 학습된 키포인트 검출기(예: LIFT)를 통합할 경우 SIFT 기반 파이프라인에 비해 전체 재구성 품질이 향상되는지 여부를 판단하는 것.

제안 방법

• PMVS를 사용한 선형 시간 증분 구조-에서-운동(SfM) 파이프라인을 구현하여, 매칭 키포인트를 입력으로 사용해 3D 재구성을 수행한다.
• SIFT, LIOP, VGGDesc, DeepDesc, L2Net, LIFT(자체 키포인트 검출기 포함), 그리고 이진 특징(BRISK, FRIF, LDB, RFD, BinBoost)을 포함한 총 15종의 국소적 특징 조합을 평가한다.
• LIFT를 제외한 모든 부동소수점 및 이진 기술에 대해 SIFT 키포인트를 기준선으로 삼아, 기술 간 공정한 비교를 확보한다.
• 모든 특징 조합에 동일한 재구성 파이프라인을 적용하여 특징 선택이 재구성 결과에 미치는 영향을 고립시킨다.
• 지정된 3D 점이 있는 DTU MVS 데이터셋을 사용해 정량적 평가를 수행하여 정확도와 완전성을 측정한다.
• 간섭자가 많은 대규모 인터넷 이미지 세트(3개 랜드마크)를 대상으로 정성적 평가를 수행하여 간섭자 존재 시의 강건성과 순서가 없는 이미지 컬렉션에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 통제된 이미지 촬영 조건에서 부동소수점 특징과 이진 특징은 재구성 정확도와 완전성 측면에서 어떻게 비교되는가?
• RQ2 수작업 특징(예: SIFT, LIOP)과 학습 기반 특징(예: VGGDesc, L2Net, DeepDesc)은 3D 재구성 성능에서 어떻게 비교되는가?
• RQ3 학습된 키포인트 검출기(예: LIFT)를 사용할 경우 전통적 검출기(예: SIFT)를 사용할 경우에 비해 재구성 품질과 강건성에 어떤 영향을 미치는가?
• RQ4 다양한 간섭자가 있는 대규모, 순서가 없는 이미지 세트에서 다양한 국소적 특징은 어떻게 성능을 내며, 이진 특징은 이러한 환경에서도 경쟁력을 유지하는가?
• RQ5 특히 CNN 기반의 학습된 기술이 고전적인 수작업 특징에 비해 재구성 성능을 얼마나 향상시키는가?

주요 결과

• 통제된 환경(DTU MVS)에서는 FRIF와 BRISK와 같은 이진 특징이 SIFT와 유사한 재구성 정확도를 달성하면서도 처리 시간을 크게 줄였다.
• 대규모 간섭자가 많은 인터넷 이미지 세트에서는 부동소수점 특징, 특히 L2Net과 VGGDesc가 모든 이진 특징을 앞서는 카메라 복원 및 재구성 품질을 보였다.
• 부동소수점 특징 중 L2Net가 가장 뛰어난 재구성 성능을 보였으며, 그 다음으로 VGGDesc가 뒤이었다. 이들은 모두 SIFT와 LIOP를 정확도와 완전성 측면에서 능가했다.
• SIFT는 모든 시나리오에서 매우 안정적이고 효과적이었으며, 특히 통제된 조건에서 뛰어난 강건성을 유지하고 있어, 새로운 대안에도 불구하고 여전히 유의미한 가치를 지닌다.
• LIFT는 학습된 키포인트 검출기를 사용하고도 SIFT 기반 파이프라인에 비해 재구성 정확도와 완전성에서 열등했으며, 이는 학습된 키포인트 국소화가 아직 정확도가 떨어짐을 시사한다.
• FRIF 키포인트 검출기는 두 데이터셋 모두에서 BRISK를 뛰어넘었으며, 특히 대규모 환경에서 두드러진 성능 향상을 보여, 키포인트 검출기 선택이 이진 특징의 성능에 상당한 영향을 미친다는 점을 입증한다.