[논문 리뷰] Point Transformer V3: Simpler, Faster, Stronger

Xiaoyang Wu, Li Jiang외 7명|arXiv (Cornell University)|2023. 12. 15.

3D Surveying and Cultural Heritage인용 수 18

한 줄 요약

Point Transformer V3 (PTv3) 는 정확한 이웃 탐색을 직렬화된 포인트 이웃으로 대체함으로써 확장 가능한 효율적 3D 인식을 달성하고, 수용 필드를 16에서 1024로 확장하면서 속도는 향상시키고 메모리를 감소시키며, 다중 데이터셋 학습으로 20개 이상의 작업에서 최첨찬 결과를 얻는다.

ABSTRACT

This paper is not motivated to seek innovation within the attention mechanism. Instead, it focuses on overcoming the existing trade-offs between accuracy and efficiency within the context of point cloud processing, leveraging the power of scale. Drawing inspiration from recent advances in 3D large-scale representation learning, we recognize that model performance is more influenced by scale than by intricate design. Therefore, we present Point Transformer V3 (PTv3), which prioritizes simplicity and efficiency over the accuracy of certain mechanisms that are minor to the overall performance after scaling, such as replacing the precise neighbor search by KNN with an efficient serialized neighbor mapping of point clouds organized with specific patterns. This principle enables significant scaling, expanding the receptive field from 16 to 1024 points while remaining efficient (a 3x increase in processing speed and a 10x improvement in memory efficiency compared with its predecessor, PTv2). PTv3 attains state-of-the-art results on over 20 downstream tasks that span both indoor and outdoor scenarios. Further enhanced with multi-dataset joint training, PTv3 pushes these results to a higher level.

연구 동기 및 목표

• 3D 포인트 클라우드 백본의 성능 핵심 동인으로 규모 확장을 동기 부여하고, 복잡한 모듈 설계가 항상 우수하다는 관념에 도전한다.
• 비용이 큰 KNN 기반 및 상대 위치 구성 요소를 직렬화 기반 접근으로 대체하여 더 간단하고 효율적인 백본을 개발한다.
• 효율성을 유지하면서 유효 수용 필드를 극적으로 확장한다(16에서 1024 포인트로).
• 다양한 실내 및 실외 인식 작업에서 다중 데이터셋 공동 학습의 도움으로 최첨단 결과를 입증한다.

제안 방법

• 공간 채움 곡선을 사용한 포인트 클라우드 직렬화로 포인트 클라우드를 구조화된 시퀀스로 변환한다 (Z-order, Trans Z-order, Hilbert, Trans Hilbert).
• 직렬화 인코딩을 사용하여 포인트당 64비트 코드를 할당하고 배치별로 정렬하여 순서를 부여한다.
• 조밀한 이웃 탐색 없이 수용 필드를 확장하기 위해 패치 그룹화 및 상호 작용이 있는 패치 어텐션을 도입한다.
• 교차 패치 정보 흐름을 가능하게 하기 위해 다양한 패치 상호 작용 전략(Shift Dilation, Shift Patch, Shift Order, Shuffle Order)을 도입한다.
• 비용이 높은 상대 위치 인코딩을 효율적인 xCPE(향상된 조건부 위치 인코딩)로 교체하고 주의 메커니즘 앞에 추가하며, 선택적 스킵 연결을 포함한다.
• 안정성을 위해 pre-norm과 LayerNorm을 사용하고 네 단계 인코더/디코더와 Grid Pooling이 있는 U-Net 유사 아키텍처를 유지한다.

실험 결과

연구 질문

• RQ1 스케일링(데이터/모델)이 3D 백본의 섬세한 설계 선택을 대체하여 더 간단한 아키텍처를 가능하게 만드는가?
• RQ2 직렬화 기반 포인트 처리로 KNN 및 복잡한 이웃 메커니즘을 성능 저하 없이 대체할 수 있는가?
• RQ3 실내/실외 3D 작업에서 주의 수용 필드를 확장하는 것이 정확도와 효율성에 어떤 영향을 미치는가?
• RQ4 PTv3의 성능에 다중 데이터셋 공동 학습이 미치는 영향은 무엇인가?
• RQ5 어떤 직렬화 패턴과 패치 상호 작용 설계가 정확도와 효율성의 최적 균형을 이끄는가?

주요 결과

• PTv3은 PTv2에 비해 추론 속도가 더 빠르고(약 3.3배) 메모리 사용이 더 낮다(약 10배).
• PTv3은 효율성을 유지하면서 수용 필드를 16에서 1024 포인트로 확장한다.
• PTv3은 20개가 넘는 실내 및 실외 3D 인식 작업에서 최첨단 결과를 달성한다.
• PTv3와 함께하는 다중 데이터셋 공동 학습은 다운스트림 작업의 성능을 더욱 높인다.
• 직렬화 기반 설계와 패치 어텐션 및 xCPE의 결합은 여러 직렬화 패턴을 사용할 때 추가 계산 부담이 거의 없으면서도 확장 가능한 성능 이점을 제공한다.