[논문 리뷰] Extracting Deformation-Aware Local Features by Learning to Deform

Guilherme Potje, Renato Martins외 2명|arXiv (Cornell University)|2021. 11. 20.

3D Surveying and Cultural Heritage참고 문헌 49인용 수 4

한 줄 요약

이 논문은 공간 변형기와 극좌표 샘플링을 통해 공간 왜곡과 특징 추출을 동시에 학습함으로써 비정형 변형, 회전, 체적에 대해 불변성을 달성하는 변형 인식 지역 특징 기술자 DEAL을 제안한다. 시뮬레이션된 등장각 변형을 통해 엔드 투 엔드로 훈련된 DEAL은 실제 및 합성 탄성 물체 벤치마크에서 최신 수준의 수작업 및 학습 기반 영상 및 RGB-D 기술자들을 능가한다.

ABSTRACT

Despite the advances in extracting local features achieved by handcrafted and learning-based descriptors, they are still limited by the lack of invariance to non-rigid transformations. In this paper, we present a new approach to compute features from still images that are robust to non-rigid deformations to circumvent the problem of matching deformable surfaces and objects. Our deformation-aware local descriptor, named DEAL, leverages a polar sampling and a spatial transformer warping to provide invariance to rotation, scale, and image deformations. We train the model architecture end-to-end by applying isometric non-rigid deformations to objects in a simulated environment as guidance to provide highly discriminative local features. The experiments show that our method outperforms state-of-the-art handcrafted, learning-based image, and RGB-D descriptors in different datasets with both real and realistic synthetic deformable objects in still images. The source code and trained model of the descriptor are publicly available at https://www.verlab.dcc.ufmg.br/descriptors/neurips2021.

연구 동기 및 목표

• 실세계 환경에서 비정형 변형에 대해 기존 지역 기술자들이 가지는 불변성의 부족을 해결한다.
• 심층 학습 기반 기술자로서 깊이 데이터 없이도 탄성 물체에 대해 강건한 변형 인식 특징을 추출할 수 있는 방법을 개발한다.
• 엔드 투 엔드 훈련 중에 맥락적 변형 정보를 학습하여 탄성 물체에서의 매칭 성능을 향상시킨다.
• 단순한 RGB 영상만을 사용함에도 불구하고 RGB-D 기반 최신 기술자들과 비교해 높은 효율성과 구분 능력을 달성한다.
• 물체 검색 및 비정형 추적과 같은 실제 응용 분야에서의 효과성을 입증한다.

제안 방법

• 변형 가이던스를 위한 공간 변형기 기반 왜곡 브랜치와 특징 추출 브랜치를 갖춘 이중 브랜치 네트워크 아키텍처를 사용한다.
• 시뮬레이션 환경에서 등장각 비정형 변형을 사용하여, 네트워크가 변형 불변 특징을 학습할 수 있도록 훈련 데이터를 생성한다.
• 왜곡된 특징 맵에 대해 극좌표 샘플링을 적용하여 회전 및 체적 불변성을 달성한다.
• 변형 하에 대응 매칭을 최적화하기 위해 대조 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련한다.
• 공간 변형기를 활용해 특징 추출 전에 국소 패치를 정렬할 수 있는 변형 필드를 예측한다.
• 긍정 및 부정 키포인트 쌍을 사용한 시아모이드 유사 훈련 설정을 통해 구분 능력 있는 기술자를 학습한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 지역 기술자가 깊이 감독 없이 오직 RGB 영상만을 사용하여 비정형 변형에 대해 불변성을 달성할 수 있는가?
• RQ2 시뮬레이션된 변형을 사용한 엔드 투 엔드 훈련이 기존 수작업 기반 기술자들과 비교해 특징 매칭의 강건성을 어떻게 향상시키는가?
• RQ3 오직 RGB 영상 기반 기술자가 비정형 상황에서 RGB-D 기반 최신 기술자들과 비교해 어느 정도의 성능을 달성할 수 있는가?
• RQ4 실제 탄성 물체 데이터셋에서 기존 학습 기반 및 수작업 기반 기술자들과 비교해 제안된 아키텍처의 효율성과 정확도는 어떻게 되는가?
• RQ5 학습된 변형 인식 특징은 물체 검색 및 비정형 추적과 같은 실제 응용 분야로 일반화될 수 있는가?

주요 결과

• DEAL은 평가된 모든 수작업 및 학습 기반 영상 기술자들, 특히 GeoBit 및 DaLI와 같은 최신 기술자들을 포함하여 비정형 물체 매칭 벤치마크에서 모두 능가한다.
• 비정형 시퀀스가 포함된 HPatches 데이터셋에서 DEAL은 RANSAC 내부점 수가 0.46을 기록하여 DaLI(0.32)를 능가하고, GeoBit(0.46)와 동등한 성능을 내며 오직 RGB 데이터만을 사용함에도 불구하고 성과를 내었다.
• K ≤ 10 범위에서의 물체 검색 작업에서 DEAL은 최고의 검색 정확도를 기록했으며, 최신 기술인 DELF 기술자조차도 이를 뛰어넘었다.
• 비정형 추적 작업에서 DEAL은 LPIPS 점수 0.24와 RANSAC 내부점 수 0.46을 기록하여 GeoBit와 같은 최고 성능을 보인 메서드들과 동등하며, DaLI 및 Log-Polar을 능가했다.
• 정성적 결과에서는 DEAL이 극한의 변형과 시점 변화 조건에서도 안정적인 대응 매칭을 유지하는 반면, DaLI와 같은 경쟁 기술자들은 유사 조건에서 실패하는 것으로 나타났다.
• 소스 코드와 훈련된 모델은 https://www.verlab.dcc.ufmg.br/descriptors/neurips2021 에 공개되어 있어 재현성과 향후 연구를 가능하게 한다.