[논문 리뷰] ALIKE: Accurate and Lightweight Keypoint Detection and Descriptor Extraction

Xiaoming Zhao, Xingming Wu외 4명|arXiv (Cornell University)|2021. 12. 06.

Robotics and Sensor-Based Localization인용 수 6

한 줄 요약

ALIKE는 점수 맵 상에서 소프트아르그맥스를 사용하여 기울기 전파를 통해 부분 픽셀 수준의 관건점 위치를 가능하게 하는 미분 가능한 관건점 검출 모듈을 제안한다. 이는 재투영 및 분산 피크 손실을 통해 정확도를 향상시키며, 동일한 경량 네트워크를 사용해 소비자용 GPU에서 95 FPS로 실행되며, 동반된 호모지어니 등장, 카메라 자세 추정 및 시각적 재위치 지정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Existing methods detect the keypoints in a non-differentiable way, therefore they can not directly optimize the position of keypoints through back-propagation. To address this issue, we present a partially differentiable keypoint detection module, which outputs accurate sub-pixel keypoints. The reprojection loss is then proposed to directly optimize these sub-pixel keypoints, and the dispersity peak loss is presented for accurate keypoints regularization. We also extract the descriptors in a sub-pixel way, and they are trained with the stable neural reprojection error loss. Moreover, a lightweight network is designed for keypoint detection and descriptor extraction, which can run at 95 frames per second for 640x480 images on a commercial GPU. On homography estimation, camera pose estimation, and visual (re-)localization tasks, the proposed method achieves equivalent performance with the state-of-the-art approaches, while greatly reduces the inference time.

연구 동기 및 목표

• 기존 딥 러닝 방법에서 관건점 검출의 비미분성으로 인해 역전파를 통한 관건점 위치 직접 최적화가 불가능한 문제를 해결하기 위해.
• 지역 점수 패치 상에서 소프트아르그맥스 기반의 미분 가능한 관건점 검출 모듈을 도입하여 관건점 정확도와 재현성을 향상시키기 위해.
• 학습 중 전체 기술자 맵을 활용함으로써 안정적인 수렴을 가능하게 하는 신경 재투영 오차(NRE) 손실로 삼중체 손실을 대체하여 기술자 학습의 안정성을 향상시키기 위해.
• 고성능을 유지하면서도 표준 하드웨어에서 실시간 추론을 가능하게 하는 경량 컨volution 네트워크 아키텍처를 설계하기 위해.
• 호모지어니 추정, 카메라 자세 추정 및 시각적 재위치 지정과 같은 후행 작업에서 최소한의 계산 비용으로 경쟁 가능한 성능을 달성하기 위해.

제안 방법

• 지역 점수 패치에 소프트아르그맥스를 적용하여 기울기 전파가 점수 맵으로 되돌아오도록 하는 미분 가능한 관건점 검출(DKD) 모듈을 제안한다.
• 이미지 쌍 간의 대응 관건점 간 재투영 오차를 최소화하는 관건점 재투영 손실을 도입하여 관건점 위치를 직접 최적화한다.
• 점수 맵이 관건점 위치에서 날카롭게 피크를 이룰 수 있도록 보장하고 블롭 유사 응답을 감소시키기 위해 분산 피크 손실을 개발한다.
• 밀도 있는 기술자 맵을 학습 중 전체적으로 활용함으로써 안정적인 수렴을 가능하게 하는 신경 재투영 오차(NRE) 손실을 사용하여 밀도 있는 기술자 학습을 수행한다.
• 효율적인 관건점 검출 및 기술자 추출을 위해 다중 수준 특징을 융합하는 경량 컨volution 네트워크를 설계하여 실시간 성능을 최적화한다.
• 낮은 신뢰도의 관건점을 걸러내어 매칭의 강인성을 향상시키기 위해 신뢰도 손실을 통합한다.

실험 결과

연구 질문

• RQ1 비미분 가능한 NMS 기반 방법과 비교해 소프트아르그맥스를 통한 미분 가능한 관건점 검출이 부분 픽셀 정밀도 검출 정확도를 향상시킬 수 있는가?
• RQ2 제안된 재투영 손실이 이미지 쌍 간 기하 오차를 최소화하여 더 정확하고 안정적인 관건점 위치를 제공하는가?
• RQ3 밀도 있는 맵에서 희소 기술자를 샘플링할 때, 삼중체 손실에 비해 NRE 손실이 더 안정적인 기술자 학습을 제공하는가?
• RQ4 경량 컨볼루션 네트워크 아키텍처가 소비자용 GPU에서 95 FPS로 실시간 추론 속도를 확보하면서도 최신 기술 수준의 성능을 유지할 수 있는 정도는 어느 정도인가?
• RQ5 기존 최신 기술 수준의 방법들과 비교해 극단적인 조명 조건 및 시점 변화와 같은 도전적인 상황에서 제안된 방법의 성능은 어떠한가?

주요 결과

• ALIKE-L은 Aachen Day-Night 데이터셋에서 2048개의 관건점만을 사용하여 0.25m 이내 및 2° 이내 정확도로 74.5%의 위치 지정 정확도를 달성했으며, 제한된 관건점 조건 하에서 대부분의 최신 기술 수준 방법들을 능가한다.
• ALIKE-N은 소비자용 NVIDIA TITAN X (Pascal)에서 640×480 이미지에서 95 FPS로 실행되며, 유사한 계산 비용에서 SuperPoint에 비해 속도와 매칭 정확도 모두 뛰어나다.
• 극단적인 조명 및 시점 변화 상황에서 ALIKE-N은 SuperPoint의 두 배에 달하는 매칭 정확도(MA)를 달성했으며, SuperPoint는 GFLOPs가 세 배에 달한다.
• 제안된 분산 피크 손실은 점수 맵에서 블롭 유사 응답을 효과적으로 억제하여 관건점 재현성과 정밀도를 향상시킨다.
• NRE 손실은 최적화 중 전체 기술자 맵을 활용함으로써 삼중체 손실보다 더 안정적인 기술자 학습을 가능하게 하며, 학습 불안정성을 감소시킨다.
• 호모지어니 추정 및 카메라 자세 추정 작업에서 ALIKE는 최신 기술 수준의 방법들과 비교해 성능이 유사하거나 뛰어나며, 추론 시간을 크게 줄였다.