[논문 리뷰] SOE-Net: A Self-Attention and Orientation Encoding Network for Point Cloud based Place Recognition

Yan Xia, Yusheng Xu외 5명|arXiv (Cornell University)|2020. 11. 24.

Robotics and Sensor-Based Localization참고 문헌 38인용 수 14

한 줄 요약

SOE-Net는 3D 포인트 클라우드 기반 장소 인식을 위한 새로운 엔드 투 엔드 딥 러닝 프레임워크로, 국소 특징 인코딩을 위한 방향 인식 모듈(PointOE)과 국소 기술자 간 장거리 의존성을 모델링하기 위한 자기주의 단위를 통합한다. 새로운 HPHN 4중손실을 통해 개선된 메트릭 학습을 활용하여 옥스포드 로봇카 데이터셋에서 상위 1위의 정확도 89.37%를 달성하며 최신 기술 수준을 확보한다.

ABSTRACT

We tackle the problem of place recognition from point cloud data and introduce a self-attention and orientation encoding network (SOE-Net) that fully explores the relationship between points and incorporates long-range context into point-wise local descriptors. Local information of each point from eight orientations is captured in a PointOE module, whereas long-range feature dependencies among local descriptors are captured with a self-attention unit. Moreover, we propose a novel loss function called Hard Positive Hard Negative quadruplet loss (HPHN quadruplet), that achieves better performance than the commonly used metric learning loss. Experiments on various benchmark datasets demonstrate superior performance of the proposed network over the current state-of-the-art approaches. Our code is released publicly at https://github.com/Yan-Xia/SOE-Net.

연구 동기 및 목표

• 대규모 3D 포인트 클라우드 기반 장소 인식에서 강력하고 구분력 있는 글로벌 기술자 학습의 과제를 해결하기 위해.
• 각 점과 그 이웃 간의 기하학적 관계를 방향 인식 인코딩을 통해 모델링하여 국소 기술자 표현을 향상시키기 위해.
• 국소 기술자 간의 장거리 맥락적 의존성을 포착하여 글로벌 기술자 집계를 향상시키기 위해.
• 대규모 검색에서 양성 및 음성 쌍을 더 잘 구분할 수 있도록 더 효과적인 메트릭 학습 손실 함수를 개발하기 위해.
• 원시 3D 포인트 클라우드로부터 압축되고 구분력 있는 글로벌 기술자를 얻기 위한 엔드 투 엔드 학습을 달성하기 위해.

제안 방법

• 각 점 주변의 여덟 가지 다른 방향에서 국소 기하 기능을 인코딩하여 다방향 이웃 맥락을 포착하는 PointOE 모듈을 도입한다.
• 국소 기술자 간의 공간적 관계에 따라 가중치를 동적으로 조정하는 자기주의 단위를 활용하여 특징 공간에서 장거리 의존성을 모델링한다.
• 엔드 투 엔드 네트워크 아키텍처 내에서 PointOE와 자기주의를 결합하여 국소 기술자 추출과 글로벌 기술자 집계를 동시에 수행한다.
• 어려운 양성 쌍 간의 거리를 최대화하고 어려운 음성 쌍 간의 거리를 최소화함으로써 일반화 능력을 향상시키는 새로운 HPHN 4중손실을 제안한다.
• 글로벌 기술자 집합을 검색 작업에 최적화하기 위해 HPHN 4중손실을 사용하는 다단계 학습 파이프라인을 구현한다.
• 초기 국소 기술자 학습을 위해 PointNet 기반 백본과 다층 퍼셉트론을 활용하며, 방향 인식 인코딩과 주의 메커니즘으로 이를 강화한다.

실험 결과

연구 질문

• RQ1 방향 인식 국소 기술자 인코딩은 3D 포인트 클라우드 기술자의 구분력을 향상시킬 수 있는가?
• RQ2 자기주의 메커니즘은 국소 기술자 간의 장거리 의존성을 효과적으로 모델링하여 글로벌 기술자 품질을 향상시킬 수 있는가?
• RQ3 제안된 HPHN 4중손실은 기존 메트릭 학습 손실보다 더 나은 일반화 및 검색 성능을 이끌 수 있는가?
• RQ4 PointOE와 자기주의의 조합은 대규모 검색에서 PointNetVLAD 및 PCAN과 같은 기존 아키텍처에 비해 어떻게 비교되는가?
• RQ5 실세계 포인트 클라우드 검색에서 HPHN 손실의 최적의 글로벌 기술자 차원과 마진 값은 무엇인가?

주요 결과

• SOE-Net은 옥스포드 로봇카 데이터셋에서 상위 1위 정확도 89.37%를 달성하여 이전 최신 기술 수준을 초월한다.
• HPHN 4중손실은 게으른 4중손실 대비 상위 1위 정확도를 5.17%p 향상시켜 옥스포드 로봇카에서 89.37%에 도달한다.
• PointOE 모듈만으로도 기준 PointNetVLAD 대비 상위 1% 평균 정확도에서 12.40%p 향상되고, 상위 1위 정확도에서 21.44%p 향상된다.
• 자기주의 단위의 기여는 뚜렷하며, 추론 실험 결과 PointOE 모듈에 추가했을 때 상위 1위 정확도가 1.21%p 향상된다.
• SOE-Net은 다양한 기술자 차원에서도 강력한 성능 유지를 보이며, 256에서 128로 줄였을 때 1~3%p의 성능 저하만을 보인다.
• HPHN 4중손실의 최적 마진 값은 0.5이며, 이 값 이상 또는 이하일 경우 성능 저하가 발생한다.