[논문 리뷰] PointAttN: You Only Need Attention for Point Cloud Completion

Jun Wang, Ying Cui외 4명|arXiv (Cornell University)|2022. 03. 16.

3D Shape Modeling and Analysis인용 수 16

한 줄 요약

PointAttN은 kNN 기반 국소 특징 학습을 교차 attention 및 자기 attention 메커니즘으로 대체함으로써, 국소 기하학적 세부 정보와 장거리 구조적 맥락을 종단 간(end-to-end)으로 학습할 수 있는 새로운 점군 복원 프레임워크를 제안한다. 밀도 민감도가 있는 이웃 영역 분할을 제거하고 attention 메커니즘을 활용함으로써 Completion3D 및 PCN 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Point cloud completion referring to completing 3D shapes from partial 3D point clouds is a fundamental problem for 3D point cloud analysis tasks. Benefiting from the development of deep neural networks, researches on point cloud completion have made great progress in recent years. However, the explicit local region partition like kNNs involved in existing methods makes them sensitive to the density distribution of point clouds. Moreover, it serves limited receptive fields that prevent capturing features from long-range context information. To solve the problems, we leverage the cross-attention and self-attention mechanisms to design novel neural network for processing point cloud in a per-point manner to eliminate kNNs. Two essential blocks Geometric Details Perception (GDP) and Self-Feature Augment (SFA) are proposed to establish the short-range and long-range structural relationships directly among points in a simple yet effective way via attention mechanism. Then based on GDP and SFA, we construct a new framework with popular encoder-decoder architecture for point cloud completion. The proposed framework, namely PointAttN, is simple, neat and effective, which can precisely capture the structural information of 3D shapes and predict complete point clouds with highly detailed geometries. Experimental results demonstrate that our PointAttN outperforms state-of-the-art methods by a large margin on popular benchmarks like Completion3D and PCN. Code is available at: https://github.com/ohhhyeahhh/PointAttN

연구 동기 및 목표

• 고정된 kNN 기반 국소 이웃 영역 분할로 인해 발생하는 기존 점군 복원 방법의 점 밀도 변동에 대한 민감도를 해결한다.
• kNN 기반 방법의 수신 영역이 제한되어 있어 3D 형태에서 장거리 맥락을 포착하는 데 어려움이 있음을 해결한다.
• 명시적인 국소 영역 분할 없이 오직 MLP와 attention 메커니즘에 의존하는 단순하고 효과적이며 종단 간 프레임워크를 설계한다.
• 암묵적이고 attention 기반의 특징 학습을 통해 재구성된 점군의 기하학적 세부 정보 복구 및 구조적 일관성 향상을 도모한다.
• 간단한 아키텍처임에도 불구하고 명시적인 국소 기하학 모델링을 사용하는 방법보다 attention 메커니즘이 단독으로도 슈퍼리어 성능을 낼 수 있음을 입증한다.

제안 방법

• kNN을 사용하지 않고 원본 및 다운샘플링된 점 특징 간의 교차 attention을 활용해 국소 기하학적 구조를 암묵적으로 포착하는 기하학적 세부 정보 인식(Geometric Details Perception, GDP) 블록을 도입한다.
• 장거리 상관관계를 모델링하고 코arse-to-fine 단계에서 점군 기하학을 점진적으로 개선하기 위해 자기 attention을 적용하는 Self-Feature Augment (SFA) 블록을 제안한다.
• kNN 또는 그래프 기반 연산 없이 오직 최대 거리 샘플링(Farthest Point Sampling, FPS), 다층 신경망(MLP), attention 레이어만을 사용하여 경량의 인코더-디코더 프레임워크를 구성한다.
• GDP 블록을 특징 추출기에서 사용하여 점 밀도에 의존하지 않는 국소 특징을 적응적으로 학습함으로써 희박하거나 균일하지 않은 분포에 대한 강건성을 향상시킨다.
• SFA 블록을 인코더 및 디코더 양쪽에 적용하여 전반적 형태 인식 능력 향상과 구조적 세부 정보의 점진적 개선을 가능하게 한다.
• attention 메커니즘에 의해 구동되는 코어스-투-파인 생성 파이프라인을 설계: 특징 추출기 → 시드 생성기 → 점 생성기

실험 결과

연구 질문

• RQ1 attention 메커니즘이 단독으로 kNN 기반 국소 특징 학습을 대체할 수 있을까? 성능 유지 또는 향상가능한가?
• RQ2 자기 attention과 교차 attention이 명시적인 이웃 영역 분할 없이 국소 기하학적 세부 정보와 장거리 구조적 맥락을 어느 정도 효과적으로 포착할 수 있는가?
• RQ3 제안된 attention 전용 프레임워크는 kNN 또는 그래프 컨볼루션 레이어에 의존하는 최신 기술 방법과 비교해 어떻게 성능을 낼까?
• RQ4 GDP 및 SFA 블록 각각이 모델의 전체 성능에 기여하는 정도는 어떠한가?
• RQ5 제안된 특징 추출기는 다른 점군 복원 또는 3D 분석 작업에서 백본으로 효과적으로 재사용될 수 있는가?

주요 결과

• PointAttN은 Completion3D 벤치마크에서 평균 6.63의 Chamfer Distance (CD)를 기록하여 이전 SOTA 방법인 SA-Net(11.22 CD)보다 35.6% 향상된 성능을 달성한다.
• 제거 실험 결과, GDP 블록을 제거할 경우 평균 CD가 6.63에서 7.42로 증가하여 상대적 증가율이 10.6%로, GDP 블록이 국소 세부 정보 인식에 핵심적인 역할을 함을 입증한다.
• SFA 블록을 제거할 경우 평균 CD가 6.81로 증가하여 SFA가 장거리 맥락 포착 및 특징 표현 향상에 중요한 역할을 함을 시사한다.
• FoldingNet의 백본을 제안된 특징 추출기로 교체할 경우 평균 CD가 19.07에서 8.28로 56.6% 감소하여 뛰어난 특징 추출 능력을 입증한다.
• FE+SG+SPD 변형은 평균 CD 7.31을 기록하여 SnowflakeNet(7.60)보다 3.8% 낮게, 제안된 특징 추출기 및 시드 생성기의 효과성을 확인한다.
• PN+SG+PG 변형은 특징 추출기를 PointNet++로 교체했을 때 SA-Net 대비 평균 CD가 35.6% 감소하여 코어스-투-파인 디코딩 설계의 우수성을 검증한다.