[논문 리뷰] ConDaFormer: Disassembled Transformer with Local Structure Enhancement for 3D Point Cloud Understanding

Lunhao Duan, Shanshan Zhao외 4명|arXiv (Cornell University)|2023. 12. 18.

3D Surveying and Cultural Heritage인용 수 9

한 줄 요약

ConDaFormer는 3D 윈도우를 해체하여 세 개의 직교 평면으로 분리하는 윈도우 어텐션 메커니즘을 도입해 계산량을 줄이고, 깊이 방향의 희소 컨벌션을 통한 지역 구조 강화를 추가하여 3D 포인트 클라우드 분할 및 탐지의 정확도를 향상시킵니다.

ABSTRACT

Transformers have been recently explored for 3D point cloud understanding with impressive progress achieved. A large number of points, over 0.1 million, make the global self-attention infeasible for point cloud data. Thus, most methods propose to apply the transformer in a local region, e.g., spherical or cubic window. However, it still contains a large number of Query-Key pairs, which requires high computational costs. In addition, previous methods usually learn the query, key, and value using a linear projection without modeling the local 3D geometric structure. In this paper, we attempt to reduce the costs and model the local geometry prior by developing a new transformer block, named ConDaFormer. Technically, ConDaFormer disassembles the cubic window into three orthogonal 2D planes, leading to fewer points when modeling the attention in a similar range. The disassembling operation is beneficial to enlarging the range of attention without increasing the computational complexity, but ignores some contexts. To provide a remedy, we develop a local structure enhancement strategy that introduces a depth-wise convolution before and after the attention. This scheme can also capture the local geometric information. Taking advantage of these designs, ConDaFormer captures both long-range contextual information and local priors. The effectiveness is demonstrated by experimental results on several 3D point cloud understanding benchmarks. Code is available at https://github.com/LHDuan/ConDaFormer .

연구 동기 및 목표

• 대규모 3D 포인트 클라우드에서 컨텍스트를 손실하지 않으면서 셀프 어텐션의 계산 비용을 줄이는 것.
• 불규칙한 포인트 클라우드에서 특징 학습을 개선하기 위해 트랜스포머 블록에 지역 기하 priors를 도입하는 것.
• 3D 의미 분절 및 객체 탐지 벤치마크에서 강력한 성능을 달성하는 것.
• 하위 작업용 효율적인 백본 설계를 제공하는 것.
• 해체 및 지역 구조 강화의 기여를 검증하기 위한 제거 분석(ablations)을 제공하는 것.

제안 방법

• 세 개의 직교 2D 평면(XY, XZ, YZ)으로 큐빅 윈도를 해체하여 포인트 수를 줄인 상태에서 셀프 어텐션을 계산한다.
• 평면 간 위치 정보를 보존하기 위해 컨텍스트 기반 적응 상대 위치 인코딩을 적용한다.
• 세 평면의 어텐션 출력들을 융합하고 선형 계층을 통해 투사한다(DaFormer).
• 전/후 어텐션에 Local Structure Enhancement(LSE) 모듈을 도입하여 깊이 방향의 희소 컨벌션과 1x1x1 컨브 브랜치를 구성한다.
• 로컬 컨텍스트를 풍부하게 하고 로컬 이웃으로의 롱-레인지 컨텍스트 전파를 가능하게 하기 위해 어텐션의 전후에 LSE를 배치한다.
• 다운샘플링으로 4단계 백본을 구축하고 의미 분절용 U-Net 스타일 업샘플링을 사용하며, 탐지를 위해 FCAF3D/CAGroup3D 백본을 사용한다.

실험 결과

연구 질문

• RQ1 3D 윈도우를 세 개의 직교 평면으로 해체하는 것이 계산량을 줄이면서 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 어텐션 전후로 깊이 방향의 희소 컨볼루션을 통한 로컬 구조 강화가 포인트 클라우드의 지역 기하 모델링을 개선하는가?
• RQ3 ConDaFormer은 3D 의미 분절 및 객체 탐지 벤치마크에서 첨단 방법들과 비교하여 어떤 성능을 보이는가?
• RQ4 창(윈도우) 해체 및 평면 간 공유 위치 인코딩의 효과를 뒷받침하는 제거 분석은 무엇인가?

주요 결과

• ConDaFormer로 ScanNet v2 및 S3DIS에서 최첨단 mIoU를 달성하고, ScanNet200에서도 경쟁력 있는 결과를 보임.
• DaFormer(해체된 어텐션)는 큐빅 윈도 어텐션 대비 계산량을 줄이면서 설정에 따라 동등하거나 향상된 성능을 보임.
• 어텐션 전후의 Local Structure Enhancement(LSE)가 개선을 가져오며, 두 분기 모두 사용할 때 최상의 결과를 보임.
• SUN RGB-D 탐지에서 ConDaFormer는 일부 기반선보다 적은 매개변수로도 경쟁력 있는 mAP@0.25 및 mAP@0.5를 달성함.
• 평면 간 위치 임베딩 공유 및 윈도우 크기가 성능과 효율성에 미치는 영향에 대한 제거 분석이 존재함.