[논문 리뷰] PCAN: 3D Attention Map Learning Using Contextual Information for Point Cloud Based Retrieval

Wenxiao Zhang, Chunxia Xiao|arXiv (Cornell University)|2019. 04. 22.

3D Shape Modeling and Analysis참고 문헌 40인용 수 22

한 줄 요약

이 논문은 3D attention 네트워크인 PCAN을 제안하며, 문맥 정보를 기반으로 국소 특징을 재가중하여 포인트 클라우드 기반 장소 인식의 성능을 향상시키는 문맥 인식형 attention 맵을 학습한다. NetVLAD에 attention을 통합함으로써 추가적인 지도 학습 없이도 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Point cloud based retrieval for place recognition is an emerging problem in vision field. The main challenge is how to find an efficient way to encode the local features into a discriminative global descriptor. In this paper, we propose a Point Contextual Attention Network (PCAN), which can predict the significance of each local point feature based on point context. Our network makes it possible to pay more attention to the task-relevent features when aggregating local features. Experiments on various benchmark datasets show that the proposed network can provide outperformance than current state-of-the-art approaches.

연구 동기 및 목표

• 3D 포인트 클라우드 기반 장소 인식을 위한 국소 포인트 특징을 분류 가능한 글로벌 디스크립터로 인코딩하는 데 도전하는 것.
• 문맥 정보를 사용하여 작업에 가장 관련성이 높은 국소 특징을 학습함으로써 특징 집합을 향상시키는 것.
• 검색 중에 노이즈 또는 시간에 따라 변하는 요소(예: 보행자, 떠도는 점들)에 대한 민감도를 줄이는 것.
• 장소 인식 태그 외에 추가 애너테이션을 필요로 하지 않는 자기지도 학습 기반 attention 메커니즘을 개발하는 것.
• 특히 조도 변화나 가림 상태가 발생하는 복잡하고 변동성이 큰 환경에서도 강건성과 분류 능력을 향상시키는 것.

제안 방법

• PCAN은 원시 3D 포인트 클라우드에서 각 포인트의 국소 특징을 추출하기 위해 PointNet 기반의 백본을 사용한다.
• 문맥 인식형 attention 모듈은 볼 쿼리 기반의 이웃 풀링을 사용하여 다중 척도의 문맥 특징을 집계함으로써 attention 맵을 계산한다.
• attention 맵은 문맥적 관련성에 따라 각 포인트에 가중치를 할당하며, 건물 모서리와 같은 안정적이고 분류 가능한 구조를 강조한다.
• 가중치가 적용된 특징들은 수정된 NetVLAD 레이어를 통해 집계되어 압축되고 분류 능력이 뛰어난 글로벌 디스크립터를 생성한다.
• 네트워크는 추가적인 지도 학습 없이 장소 인식 태그만을 사용하여 엔드 투 엔드로 훈련되며, 최종 디스크립터에 L2 정규화가 적용된다.
• 안정성과 분류 능력의 균형을 맞추기 위해 다중 해상도 그룹화(MRG)와 다중 척도 그룹화(MSG)를 문맥 집합 전략으로 평가한다.

실험 결과

연구 질문

• RQ1 문맥 인식형 attention 학습이 3D 포인트 클라우드 검색에서 글로벌 디스크립터의 분류 능력을 향상시킬 수 있는가?
• RQ2 이웃 포인트로부터의 문맥 정보 통합이 attention 맵 품질과 검색 성능에 어떤 영향을 미치는가?
• RQ3 자기지도 학습 기반 attention 메커니즘이 포인트 클라우드 내 노이즈 또는 동적 요소에 대한 민감도를 어느 정도 감소시킬 수 있는가?
• RQ4 문맥 정보를 忽시하는 attention 메커니즘(예: PAN)과 비교할 때, 제안된 PCAN은 정확도와 강건성 측면에서 어떻게 성능을 냈는가?
• RQ5 다양한 그룹화 전략(예: MRG, MSG)이 attention 메커니즘의 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• 옥스포드 데이터셋에서 PCAN은 상위 1% 내 평균 리콜률 83.81%를 기록하여 베이스라인 PointNetVLAD 및 아블레이션 모델 PAN을 초월한다.
• 옥스포드 데이터셋에서 PCAN은 PAN 대비 상위 1% 리콜률을 3.6%포인트 향상시켜 문맥 인식형 attention의 가치를 입증한다.
• 내부 데이터셋(예: 미국 데이터셋)에서도 PCAN은 훈련 데이터가 적고 시나리오가 더 복잡한 환경에서도 강력한 성능(상위 1%에서 69.05% 리콜)을 유지한다.
• 결과 시각화에서 attention 맵이 노이즈가 많은 포인트와 동적 객체(예: 보행자, 날아다니는 부스러기)를 성공적으로 억제하는 것으로 확인되었다.
• 아블레이션 연구에서 문맥 집합의 중요성을 확인하였으며, PCAN은 모든 데이터셋에서 PAN을 능가하는 성능을 보였다.
• PCAN은 낙엽과 같은 불안정한 특징을 무시하는 안정성과 건물 모서리와 같은 고유한 구조를 강조하는 분류 능력 사이에 유리한 트레이드오프를 보였다.