[논문 리뷰] Point Transformer

Hengshuang Zhao, Li Jiang외 3명|arXiv (Cornell University)|2020. 12. 16.

Sensor Technology and Measurement Systems인용 수 34

한 줄 요약

본 논문은 3D 점군에 지역 벡터 자기주의를 적용하는 Point Transformer 계층을 제안하고, 분류 및 밀도 예측을 위한 백본을 구축하며 S3DIS, ModelNet40, ShapeNetPart에서 최첨단 성능을 달성한다. 학습 가능한 위치 인코딩과 벡터 주의에 중점을 두어 대규모 3D 이해에서 확장성과 정확성을 향상시킨다.

ABSTRACT

Self-attention networks have revolutionized natural language processing and are making impressive strides in image analysis tasks such as image classification and object detection. Inspired by this success, we investigate the application of self-attention networks to 3D point cloud processing. We design self-attention layers for point clouds and use these to construct self-attention networks for tasks such as semantic scene segmentation, object part segmentation, and object classification. Our Point Transformer design improves upon prior work across domains and tasks. For example, on the challenging S3DIS dataset for large-scale semantic scene segmentation, the Point Transformer attains an mIoU of 70.4% on Area 5, outperforming the strongest prior model by 3.3 absolute percentage points and crossing the 70% mIoU threshold for the first time.

연구 동기 및 목표

• 비정렬된 3D 점군에 대한 자기주의를 동기부여하고 적응시키기.
• 지역 이웃에 대해 벡터 자기주의를 갖는 Point Transformer 계층을 개발한다.
• 자체 주의와 점별 연산만으로 분류 및 밀도 예측용 백본을 구축한다.
• 성능 최적화를 위해 위치 인코딩, 이웃 크기 및 주의 형태를 조사한다.
• S3DIS, ModelNet40, ShapeNetPart에서 최첨단 결과를 입증한다.

제안 방법

• 각 점에 대해 k-최근접 이웃 영역에서 지역 벡터 자기주를 수행하는 연산자를 정의한다.
• 주목 경로(attention)와 특징 경로(feature paths) 모두에 학습 가능한 위치 인코딩 δ = theta(p_i - p_j)을 포함시킨다.
• 핵심 구성 단위로 잔차(Point Transformer) 블록을 사용한다.
• 분할을 위해 U-Net 스타일의 전이 다운/업 모듈이 있는 다단 백본과 분류용 글로벌 풀링 경로를 구성한다.
• 다양한 3D 벤치마크(S3DIS, ModelNet40, ShapeNetPart)에 대해 평가하고 k, 위치 인코딩 및 주의 형태에 대한 제거 연구를 수행한다.

실험 결과

연구 질문

• RQ1 점 이웃에 대한 지역 벡터 자기주가 분류 및 분할 과제에서 기존 3D 점군 방법보다 성능이 우수할 수 있는가?
• RQ2 이웃 크기, 위치 인코딩, 주의 형태가 Point Transformer 성능에 어떠한 영향을 미치는가?
• RQ3 전처리 최소화된 트랜스포머 기반 백본이 대규모 씬에서 보셀/그래프 기반 3D 네트워크와 경쟁할 수 있는가?

주요 결과

• S3DIS의 Area 5에서 70.4% mIoU를 달성하고(Area 5) 교차 검증 6배에서 73.5% mIoU를 달성하여 이전 최첨단을 능가한다.
• ModelNet40에서 93.7% 전체 정확도, ShapeNetPart에서 86.6% 인스턴스 mIoU를 달성하며 여러 베이스라인을 앞질렀다.
• Point Transformer는 KPConv(14.9M) 및 SparseConv(30.1M)에 비해 비교적 적은 파라미터(4.9M)로 작동한다.
• 요인 분석은 상대 위치 인코딩과 벡터 주의가 베이스라인 및 절대/없음 인코딩에 비해 성능을 크게 개선함을 보여준다.
• 벡터 주의는 스칼라 주의 및 비주의変형 대비 상당히 뛰어나며 채널별 조절의 이점을 강조한다.