[논문 리뷰] UR2KiD: Unifying Retrieval, Keypoint Detection, and Keypoint Description without Local Correspondence Supervision

Tsun-Yi Yang, Duy-Kien Nguyen외 2명|arXiv (Cornell University)|2020. 01. 20.

Advanced Image and Video Retrieval Techniques참고 문헌 37인용 수 27

한 줄 요약

UR2KiD는 픽셀 단위의 대응 관계에 대한 지도 학습을 요구하지 않고도 이미지 검색, 키포인트 검출, 키포인트 기술을 동시에 수행하는 통합적인 딥러닝 프레임워크를 제안한다. ResNet 기반의 백본에서 다중 척도 특징을 활용하고, 자기 정규화(self-distillation) 및 국소 반응 풀링을 통해 성능을 향상시켜 척도 변화, 시점 변화, 일주일 변화와 같은 도전적인 조건에서도 최신 기술 수준(SOTA)의 성능을 달성한다. 특히 극단적인 척도 차이가 존재하는 로컬라이제이션 벤치마크에서 기존 방법들을 능가한다.

ABSTRACT

In this paper, we explore how three related tasks, namely keypoint detection, description, and image retrieval can be jointly tackled using a single unified framework, which is trained without the need of training data with point to point correspondences. By leveraging diverse information from sequential layers of a standard ResNet-based architecture, we are able to extract keypoints and descriptors that encode local information using generic techniques such as local activation norms, channel grouping and dropping, and self-distillation. Subsequently, global information for image retrieval is encoded in an end-to-end pipeline, based on pooling of the aforementioned local responses. In contrast to previous methods in local matching, our method does not depend on pointwise/pixelwise correspondences, and requires no such supervision at all i.e. no depth-maps from an SfM model nor manually created synthetic affine transformations. We illustrate that this simple and direct paradigm, is able to achieve very competitive results against the state-of-the-art methods in various challenging benchmark conditions such as viewpoint changes, scale changes, and day-night shifting localization.

연구 동기 및 목표

• 이미지 검색, 키포인트 검출, 키포인트 기술을 하나의 엔드 투 엔드 프레임워크로 통합하는 것.
• 픽셀 단위의 대응 관계에 기반한 비용이 많이 드는 또는 합성 지도 학습(SfM, 애핀 변환 등)이 필요 없도록 하는 것.
• 로컬라이제이션 작업에서 척도 변화, 시점 변화, 일주일 조명 변화에 대한 강건성을 향상시키는 것.
• 글로벌 및 로컬 표현 학습이 최소한의 지도 학습으로 함께 최적화될 수 있음을 보여주는 것.

제안 방법

• 다양한 레이어에서 특징 맵을 추출할 수 있도록 사전 훈련된 ResNet101 백본을 사용하여 계층적인 국소 및 글로벌 표현을 추출한다.
• 국소 활성화 정규화, 채널 그룹화 및 드롭아웃을 적용하여 대응 관계 지도 없이도 국소 기술의 품질을 향상시킨다.
• 교사 및 학생 네트워크 간 자기 정규화를 통해 키포인트 검출 및 기술 학습 성능을 향상시킨다.
• 국소 반응에 대해 글로벌 평균 풀링을 적용하여 이미지 검색을 위한 글로벌 기술을 생성한다.
• 픽셀 수준의 대응 관계 애너테이션 없이 오직 이미지 쌍만을 지도로 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시킨다.
• 훈련 중에는 초기 네트워크 블록을 고정하고, 기술 차원 축소를 위한 매핑 레이어만 미세조정하여 안정성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 픽셀 단위의 대응 관계 지도 학습 없이도 통합된 딥 네트워크가 이미지 검색, 키포인트 검출, 키포인트 기술을 동시에 최적화할 수 있는가?
• RQ2 쿼리 이미지와 데이터베이스 이미지 간에 극단적인 척도 변화가 존재할 경우, 제안된 방법은 최신 기술 수준의 방법들보다 어떻게 성능을 내는가?
• RQ3 다중 척도 특징과 자기 정규화를 활용하면 시점 및 조명 변화에 대한 강건성이 로컬라이제이션 작업에서 향상되는가?
• RQ4 단일 네트워크를 약한 지도 학습(오직 이미지 쌍만)으로 훈련시켜 글로벌 검색 및 국소 매칭 벤치마크에서 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• UR2KiD는 Aachen 벤치마크에서 로컬라이제이션 작업에서 최신 기술 수준의 성능을 달성하였으며, 특히 심각한 척도 변화(예: 쿼리 대 데이터베이스 비율 0.5:1) 상황에서 D2-Net보다 정확도 5–7% 높게 성능을 내었다.
• 이 방법은 일주일 변화와 시점 변화 상황에서도 강력한 성능 유지를 보이며, 실제 환경의 시각적 변동에 대한 강건성을 입증하였다.
• 초기 네트워크 블록을 고정하고 매핑 레이어만 미세조정하는 것이 최고의 성능을 내었으며, 이는 효과적인 기술 학습을 위해 최소한의 적응이 충분함을 시사한다.
• MegaDepth로 사전 훈련한 경우 Oxford5k와 Paris6k에서 경쟁적인 글로벌 검색 성능을 달성하였지만, SfM120k를 사용할 경우 GeM 및 DAME와 같은 전용 검색 방법에 비해 뒤처졌다.
• 제거 실험을 통해 학생 검출기와 학생 기술, 가중치 고정이 가장 우수한 일반화 성능을 보였으며, 특히 척도 변화가 존재하는 시나리오에서 두드러졌다.
• 모델는 오직 이미지 수준의 지도 학습만을 사용하여 국소 및 글로벌 표현 학습을 성공적으로 통합하였으며, SfM나 합성 데이터와 같은 고비용 자료가 필요 없음을 입증하였다.