[논문 리뷰] Take-A-Photo: 3D-to-2D Generative Pre-training of Point Cloud Models

Ziyi Wang, Xumin Yu외 3명|arXiv (Cornell University)|2023. 07. 27.

3D Shape Modeling and AnalysisEngineering인용 수 3

한 줄 요약

이 논문은 TAP를 제안하며, 크로스 어텐션 메커니즘을 사용해 지정된 카메라 포즈에서 시각 이미지를 생성함으로써 포인트 클라우드 모델의 성능을 향상시키는 3D에서 2D로의 생성적 사전학습 방법이다. 간접적인 포인트 클라우드 재구성보다 정확한 2D 이미지 감독을 활용함으로써 기하학적 및 스테레오적 이해가 향상되며, 사전 학습된 시각 또는 언어 모델 없이도 ScanObjectNN과 ShapeNetPart에서 최신 기술 수준(SoTA) 성능을 달성한다.

ABSTRACT

With the overwhelming trend of mask image modeling led by MAE, generative pre-training has shown a remarkable potential to boost the performance of fundamental models in 2D vision. However, in 3D vision, the over-reliance on Transformer-based backbones and the unordered nature of point clouds have restricted the further development of generative pre-training. In this paper, we propose a novel 3D-to-2D generative pre-training method that is adaptable to any point cloud model. We propose to generate view images from different instructed poses via the cross-attention mechanism as the pre-training scheme. Generating view images has more precise supervision than its point cloud counterpart, thus assisting 3D backbones to have a finer comprehension of the geometrical structure and stereoscopic relations of the point cloud. Experimental results have proved the superiority of our proposed 3D-to-2D generative pre-training over previous pre-training methods. Our method is also effective in boosting the performance of architecture-oriented approaches, achieving state-of-the-art performance when fine-tuning on ScanObjectNN classification and ShapeNetPart segmentation tasks. Code is available at https://github.com/wangzy22/TAP.

연구 동기 및 목표

• 기하학적 구조와 입체 관계 이해를 향상시키기 위해 더 정보가 풍부한 이미지 기반 감독을 통해 기존 3D 생성적 사전학습 방법에서의 정확도 부족 문제를 해결한다.
• 기존 방법들이 트랜스포머 기반 백본에 국한되어 있어 다양한 포인트 클라우드 아키텍처에 대한 유연성이 떨어지는 문제를 해결한다.
• 정확한 2D 이미지 감독을 통해 3D 백본 모델의 기하학적 구조 및 입체 관계 이해 능력을 향상시킨다.
• 특정 아키텍처에 국한되지 않고 어떤 포인트 클라우드 모델에도 호환 가능한 유연한 사전학습 프레임워크를 개발한다.

제안 방법

• 포즈에 따라 달라지는 사진 모듈은 크로스 어텐션을 사용해 카메라 포즈 조건을 3D 특징에 통합하고, 이를 2D 시각 이미지 특징으로 변환한다.
• 2D 생성기는 이러한 포즈 조건 기반 특징을 디코딩하여 시각 이미지를 생성하며, 이는 합성 데이터에서 렌더링된 참값 이미지로 감독된다.
• 질의 생성기는 광선의 물리적 수식을 기반으로 하며, 원점 좌표, 정규화된 방향 벡터, 위치 임베딩을 사용해 크로스 어텐션용 질의를 생성한다.
• 직접적인 투영을 피하고 크로스 어텐션 레이어가 3D에서 2D로의 특징 재배열을 엔드 투 엔드로 학습함으로써 표현 학습을 향상시킨다.
• 변동 크기의 특징 격자를 처리하기 위해 팞 토큰을 포함한 메모리 빌더를 사용하여 학습 안정성과 성능을 향상시킨다.
• 사전학습 파이프라인은 어떤 포인트 클라우드 백본과도 호환되어 광범위한 아키텍처 적응이 가능하다.

실험 결과

연구 질문

• RQ1 이미지 기반 감독을 사용한 3D에서 2D로의 생성적 사전학습이 포인트 클라우드 재구성보다 포인트 클라우드 표현 학습에 더 효과적인가?
• RQ2 수학적으로 유도된 질의를 사용한 포즈 조건 기반 크로스 어텐션은 3D 모델의 기하학적 및 공간적 이해를 향상시키는가?
• RQ3 2D 이미지 생성을 위해 설계된 사전학습 방법이 다양한 포인트 클라우드 백본과 효과적으로 통합될 수 있는가?
• RQ4 제안된 방법은 최신 기술 기반 아키텍처 모델과 비교해 하류 3D 비전 작업에서 어떻게 성능을 내는가?

주요 결과

• TAP는 ScanObjectNN 객체 분류 벤치마크에서 기존 트랜스포머 기반 생성적 사전학습 방법을 능가하는 최신 기술 수준(SoTA) 성능을 달성한다.
• PointMLP를 백본으로 사용할 경우, TAP는 ScanObjectNN에서 88.5%의 정확도를 기록하며 사전 학습된 이미지나 텍스트 모델을 사용하지 않은 기존 방법들을 초월한다.
• ShapeNetPart 파트 분할 작업에서 TAP는 외부 시각 또는 언어 사전학습 모델을 사용하지 않은 방법들 중에서 최신 기술 수준 성능을 달성한다.
• 절단 실험 결과, 사진 모듈 내 크로스 어텐션 메커니즘이 필수적임을 확인하였으며, 직접 투영 또는 자체 어텐션 기반 베이스라인보다 뛰어난 성능을 보였다.
• 질의의 수학적 구성 요소인 원점 좌표, 방향 벡터, 위치 임베딩이 각각 성능 향상에 기여하며, 이들이 모두 중요하다는 것이 입증되었다.
• 메모리 빌더에 팞 토큰을 포함시킴으로써 일반화 능력이 향상되었으며, 크로스 어텐션 레이어를 늘릴수록 성능이 향상되지만 과적합이 발생하기 전까지의 한계가 존재한다.