[논문 리뷰] Improving the HardNet Descriptor

Milan Pultar|arXiv (Cornell University)|2020. 07. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 70인용 수 9

한 줄 요약

이 논문은 조명 및 외관에 대한 강건성을 향상시키기 위해 새로운 데이터셋(AMOS Patches)을 도입하고, 최적화된 훈련 프로토콜과 아키텍처 개선을 통해 HardNet 로컬 특징 기술자를 향상시켰다. PCA 압축과 하이퍼파ram터 튜닝을 통해 훈련된 HardNet8은 HPatches, AMOS Patches, IMW Phototourism 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 특수화된 변종은 스테레오 매칭 작업에서 이전 방법들을 능가하였다.

ABSTRACT

In the thesis we consider the problem of local feature descriptor learning for wide baseline stereo focusing on the HardNet descriptor, which is close to state-of-the-art. AMOS Patches dataset is introduced, which improves robustness to illumination and appearance changes. It is based on registered images from selected cameras from the AMOS dataset. We provide recommendations on the patch dataset creation process and evaluate HardNet trained on data of different modalities. We also introduce a dataset combination and reduction methods, that allow comparable performance on a significantly smaller dataset. HardNet8, consistently outperforming the original HardNet, benefits from the architectural choices made: connectivity pattern, final pooling, receptive field, CNN building blocks found by manual or automatic search algorithms -- DARTS. We show impact of overlooked hyperparameters such as batch size and length of training on the descriptor quality. PCA dimensionality reduction further boosts performance and also reduces memory footprint. Finally, the insights gained lead to two HardNet8 descriptors: one performing well on a variety of benchmarks -- HPatches, AMOS Patches and IMW Phototourism, the other is optimized for IMW Phototourism.

연구 동기 및 목표

• 광범위한 기준 스테레오 매칭을 위한 HardNet 로컬 특징 기술자의 강건성과 성능을 향상시키기 위해.
• AMOS 데이터셋의 등록된 이미지를 활용해 조명 및 외관 변화에 강건한 새로운 데이터셋인 AMOS Patches를 개발하기 위해.
• 데이터셋 조합, 감소, 배치 크기, 훈련 길이, 손실 함수 설계와 같은 최적의 훈련 전략을 탐구하기 위해.
• 연결성 패턴, 풀링, 수신 필드, CNN 빌딩 블록 등의 아키텍처 선택 사항을 수동 및 DARTS 기반 탐색을 통해 분석하기 위해.
• PCA를 통한 임bedding 압축이 기술자 품질과 메모리 효율성에 미치는 영향을 평가하기 위해.

제안 방법

• AMOS 데이터셋의 특정 카메라에서 선택된 이미지의 정렬된 이미지를 기반으로 하여 조명 및 외관 변화에 강건한 데를 위한 AMOS Patches 데이터셋을 제안한다.
• 이질적인 데이터셋을 조합하고 감소시키는 방법을 도입하여, 훨씬 적은 양의 훈련 데이터로도 높은 성능을 달성할 수 있도록 한다.
• 일반화된 손실 함수를 사용한 다단계 훈련 파이프라인을 적용하며, 최대 9000까지의 배치 크기와 최대 40 에포크까지의 훈련을 수행한다.
• 효율적인 CNN 빌딩 블록을 식별하기 위해 DARTS 기반의 신경망 아키텍처 탐색을 적용하며, VGG 유사 아키텍처를 ResNet 유사 아키텍처보다 우선시한다.
• PCA를 사용하여 기술자 임베딩을 128차원으로 압축하여 성능 향상과 메모리 사용량 감소를 달성한다.
• 도메인 특화된 데이터 조합을 사용하여 일반 목적용인 HardNet8-Univ과 IMW Phototourism에 최적화된 HardNet8-PT 두 가지 변종을 훈련한다.

실험 결과

연구 질문

• RQ1 등록된 이미지에서 유도된 새로운 조명 강건성 데이터셋이 도전적인 벤치마크에서 로컬 기술자의 성능을 향상시킬 수 있는가?
• RQ2 상당히 적은 샘플 수로 훈련할 경우, 데이터셋 조합 및 감소 기법이 기술자 품질에 어떤 영향을 미치는가?
• RQ3 연결성, 풀링, 수신 필드, CNN 블록과 같은 아키텍처 선택 사항이 기술자 성능 향상에 기여하는가?
• RQ4 배치 크기와 훈련 기간과 같은 간과되기 쉬운 하이퍼파ram터가 기술자 품질에 어떤 영향을 미치는가?
• RQ5 PCA 기반의 임베딩 압축이 성능 향상과 메모리 사용량 감소에 얼마나 기여하는가?

주요 결과

• AMOS Patches 데이터셋은 조명 및 외관 변화에 대한 강건성을 크게 향상시켜, HPatches 및 AMOS Patches 벤치마크에서 기준 기술자보다 뛰어난 성능을 보였다.
• HardNet8-Univ은 전체 HPatches 스플릿에서 평균 평균 정확도(mAP) 60.95를 달성하여, 원본 HardNet(52.79)과 GeoDesc(59.15)를 모두 초월하였다.
• HardNet8-PT는 IMW Phototourism Stereo 8k 벤치마크에서 평균 평균 정확도(mAA) 57.58을 기록하여, GeoDesc(51.11)를 포함한 모든 이전 방법을 능가하였다.
• 배치 크기를 9000으로 설정하고 40 에포크 동안 훈련하면 기술자 품질이 향상되며, 더 작은 배치나 짧은 훈련 기간은 성능을 떨어뜨린다.
• 512차원 임베딩을 PCA를 통해 128차원으로 압축하면 IMW Phototourism에서 mAA가 2.5%p 향상되고 메모리 사용량도 감소한다.
• 필터링과 조합을 통해 데이터셋 크기를 한 단계 감소시켜도 성능이 유사하게 유지되어, 뛰어난 데이터 효율성을 입증하였다.