[논문 리뷰] PIC-Net: Point Cloud and Image Collaboration Network for Large-Scale Place Recognition

Yuheng Lu, Fan Yang외 2명|arXiv (Cornell University)|2020. 08. 03.

Robotics and Sensor-Based Localization참고 문헌 19인용 수 16

한 줄 요약

PIC-Net는 포인트 클라우드와 이미지의 특징을 주의 메커니즘을 활용하여 융합하는 다중모달 융합 네트워크를 제안하며, 야간과 같은 도전적인 조건에서도 강건성을 크게 향상시킨다. 이 방법은 상호보완적인 시각적 및 기하학적 특징을 융합하고, 일-야간 이미지 스타일 전이를 적용하여 야간 인식 성능을 향상시킴으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Place recognition is one of the hot research fields in automation technology and is still an open issue, Camera and Lidar are two mainstream sensors used in this task, Camera-based methods are easily affected by illumination and season changes, LIDAR cannot get the rich data as the image could , In this paper, we propose the PIC-Net (Point cloud and Image Collaboration Network), which use attention mechanism to fuse the features of image and point cloud, and mine the complementary information between the two. Furthermore, in order to improve the recognition performance at night, we transform the night image into the daytime style. Comparison results show that the collaboration of image and point cloud outperform both image-based and point cloud-based method, the attention strategy and day-night-transform could further improve the performance.

연구 동기 및 목표

• 다양한 조도 및 계절 조건에서 이미지 중심 및 포인트 클라우드 중심 방법의 한계를 해결한다.
• RGB 이미지와 LiDAR 포인트 클라우드에서 유용한 정보를 상호보완적으로 활용하여 인식 정확도와 강건성을 향상시킨다.
• 야간 이미지를 일일 기준으로 보다 유사한 외관으로 변환함으로써 저조도 환경에서의 성능을 향상시킨다.
• 주의 기반 융합 메커니즘을 활용해 다중모달 특징을 효과적으로 융합하는 엔드 투 엔드 학습 가능한 네트워크를 개발한다.

제안 방법

• RGB 이미지와 LiDAR 포인트 클라우드에서 각각 깊이 있는 특징을 추출하기 위해 이중 스트림 인코더를 도입한다.
• 현재 컨텍스트에 대한 관련성에 따라 이미지 및 포인트 클라우드 브랜치의 특징을 적응적으로 가중하는 주의 기반 융합 모듈을 적용한다.
• 야간 이미지를 증강하기 위해 일-야간 이미지 스타일 전이 기법을 구현하여, 특징 학습을 향상시키기 위해 일일 조건과 유사하게 만든다.
• 다양한 환경 조건에서 장소 인식을 최적화하기 위해 대비 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 학습시킨다.
• 특징 임베딩을 비교하고 분류 가능한 장소 표현을 최적화하기 위해 시아미즈 유사 아키텍처를 활용한다.
• 특징 정규화와 메트릭 학습을 활용하여 대규모 데이터셋에서의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 주의 기반 융합을 통한 이미지 및 포인트 클라우드 특징 융합은 단모달 기반 모델 대비 장소 인식 정확도를 향상시키는가?
• RQ2 상호보완적인 시각적 및 기하학적 정보의 통합은 어려운 조도 조건에서 성능에 어떤 영향을 미치는가?
• RQ3 일-야간 이미지 스타일 전이 기법이 야간 운영 시 인식 강건성에 어느 정도 기여하는가?
• RQ4 학습된 주의 메커니즘을 활용한 다중모달 융합은 대규모 실세계 환경에서 더 잘 일반화되는가?
• RQ5 제안된 네트워크는 계절 및 조도 변화에 걸쳐도 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 PIC-Net는 대규모 벤치마크에서 이미지 중심 및 포인트 클라우드 중심 방법을 모두 압도하며, 다중모달 융합의 우수성을 입증한다.
• 주의 기반 특징 융합 메커니즘이 이미지와 포인트 클라우드 간의 상호보완적 정보를 효과적으로 포착하여 더 분류 가능한 장소 표현을 이끈다.
• 일-야간 이미지 스타일 전이 기법이 야간 시나리오에서 인식 성능을 크게 향상시켜 기준 모델 대비 성능 저하를 줄인다.
• KITTI 및 옥스포드 Revisited 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 특히 저조도 조건에서 뛰어난 성능을 보였다.
• 제거 실험을 통해 주의 융합 모듈과 스타일 전이 구성 요소가 전체 성능 향상에 기여한다는 것이 확인되었다.
• 모델는 계절 및 조도 조건에 걸쳐 잘 일반화되어 있으며, 환경 변화에 대한 강건성을 보였다.