[논문 리뷰] 3D Feature Prediction for Masked-AutoEncoder-Based Point Cloud Pretraining

Siming Yan, Yuqi Yang외 6명|arXiv (Cornell University)|2023. 04. 14.

3D Shape Modeling and Analysis인용 수 5

한 줄 요약

이 논문은 3D 포인트 클라우드의 자기지도 학습 미리 훈련을 위한 새로운 마스킹 인코딩 프레임워크를 제안하며, 포인트 위치 복원 대신 마스킹된 포인트에서 표면 법선과 표면 변동성을 예측한다. 인코더에 종속되지 않은 쿼리 및 크로스 어텐션 기반 디코더를 사용함으로써, 3D 분류 및 파트 세그멘테이션 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 위치 복원보다 특징 복원이 더 효과적임을 입증한다.

ABSTRACT

Masked autoencoders (MAE) have recently been introduced to 3D self-supervised pretraining for point clouds due to their great success in NLP and computer vision. Unlike MAEs used in the image domain, where the pretext task is to restore features at the masked pixels, such as colors, the existing 3D MAE works reconstruct the missing geometry only, i.e, the location of the masked points. In contrast to previous studies, we advocate that point location recovery is inessential and restoring intrinsic point features is much superior. To this end, we propose to ignore point position reconstruction and recover high-order features at masked points including surface normals and surface variations, through a novel attention-based decoder which is independent of the encoder design. We validate the effectiveness of our pretext task and decoder design using different encoder structures for 3D training and demonstrate the advantages of our pretrained networks on various point cloud analysis tasks.

연구 동기 및 목표

• 기존 3D 마스킹 인코더가 마스킹된 포인트 위치 복원을 우선시하는 데서 비롯하는 한계를 해결하기 위해.
• 기하학적 복원에서 고차원 특징 예측으로 사전 과제를 전환시켜 3D 자기지도 표현 학습을 향상시키기 위해.
• 인코더와 독립적인 디코더 아키텍처를 설계하여 위치 정보 泄露 없이도 견고한 특징 복원을 가능하게 하기 위해.
• 다양한 3D 백본 네트워크와 후행 작업에서 내재된 특징 예측의 효과성을 검증하기 위해.

제안 방법

• 기존의 포인트 위치 복원을 대체하여, 마스킹된 포인트에서 표면 법선과 표면 변동성을 예측하는 것을 사전 과제로 설정한다.
• 쿼리 포인트를 사용하고 크로스 어텐션과 세르프 어텐션을 적용하여 인코더 출력에서 특징을 생성하는 어텐션 기반 디코더를 도입한다.
• 디코더를 인코더에서 분리함으로써 스퍼스 컨볼루션 네트워크, 포인트 기반 네트워크, 트랜스포머와 같은 다양한 3D 백본 아키텍처와의 호환성을 확보한다.
• 디코더는 크로스 어텐션을 통해 인코더된 특징을 참조하고, 세르프 어텐션을 통해 마스킹된 포인트 간의 맥락을 전파함으로써 일관된 특징 생성을 가능하게 한다.
• 마스킹 비율을 60%로 설정하여 작업 난이도와 정보 유지 간의 최적 균형을 확보하고, 예측 특징에 대한 복원 손실을 통해 엔드 투 엔드로 모델을 훈련한다.
• 회전과 균일 스케일링을 통한 데이터 증강을 적용하며, 기하학적 성질(예: 법선, 변동성)을 유지하기 위해 신중한 처리를 수행한다.

실험 결과

연구 질문

• RQ1 포인트 클라우드 미리 훈련에서 3D 마스킹 인코더가 포인트 위치 복원을 가장 효과적인 사전 과제로 삼는가?
• RQ2 표면 법선과 표면 변동성과 같은 고차원 기하학적 특징을 예측하는 것이 위치 복원보다 더 나은 표현 학습을 이끌 수 있는가?
• RQ3 인코더와 독립적인 디코더 아키텍처 설계가 다양한 3D 백본에서 일반화 및 성능 향상에 기여하는가?
• RQ4 표면 법선, 변동성, 색상 등의 내재 특징 조합이 후행 작업 성능에 어떻게 영향을 미치는가?
• RQ5 마스킹 비율, 디코더 깊이 등의 하이퍼파라미터 중 제안된 특징 예측 과제에 최적인 것은 무엇인가?

주요 결과

• 표면 법선과 표면 변동성을 함께 복원할 경우 가장 우수한 성능을 기록하였으며, ScanObjectNN 분류 과제에서 위치 복원 기반 베이스라인 대비 1.5% 향상되었다.
• 4블록 디코더가 가장 우수한 성능을 보였으며, 2블록 버전 대비 1.5% 정확도 향상을 기록했고, 더 깊은 네트워크는 과적합 현상으로 성능 저하를 보였다.
• 마스킹 비율 60%가 최적의 성능을 내며, 40%와 90% 비율은 각각 과제가 너무 단순하거나 정보 부족으로 인해 최적의 학습이 어려웠다.
• 디코더에서 세르프 어텐션을 제거하면 정확도가 2.0% 감소하여, 마스킹된 포인트 간 특징 전파에 있어 세르프 어텐션의 핵심적 역할을 입증한다.
• 더 많은 쿼리 포인트(높은 쿼리/마스킹 비율)를 사용할수록 성능 향상이 나타나, 고밀도 쿼리 샘플링이 특징 복원을 향상시킨다는 것을 시사한다.
• 스캔 레벨 데이터(ScanNet)에서 표면 변동성과 색상을 목표로 미리 훈련하면, S3DIS 세그멘테이션 및 탐지 과제에서 일관된 성능 향상이 관찰되었으며, 대규모이고 노이즈가 많은 포인트 클라우드로의 일반화 능력을 입증한다.