[논문 리뷰] GenSDF: Two-Stage Learning of Generalizable Signed Distance Functions

Gene Chou, Ilya Chugunov외 1명|arXiv (Cornell University)|2022. 06. 06.

Human Pose and Action Recognition인용 수 12

한 줄 요약

GenSDF는 레이블이 없는 포인트 클라우드에서 100개 이상의 새로운 3D 객체 카테고리로 일반화할 수 있도록 하는 이중 단계의 준지도 학습 메타학습 프레임워크를 제안한다. 먼저 레이블이 있는 데이터에서 에피소드 기반 메타학습을 통해 형태 사전을 학습하고, 이후 서로 다른 레이블이 없는 데이터에서 새로운 자기지도 학습 기반의 부호 예측 손실을 통해 이를 보완함으로써, 최적화 없이도 강력한 제로샷 재구성 성능를 달성한다.

ABSTRACT

We investigate the generalization capabilities of neural signed distance functions (SDFs) for learning 3D object representations for unseen and unlabeled point clouds. Existing methods can fit SDFs to a handful of object classes and boast fine detail or fast inference speeds, but do not generalize well to unseen shapes. We introduce a two-stage semi-supervised meta-learning approach that transfers shape priors from labeled to unlabeled data to reconstruct unseen object categories. The first stage uses an episodic training scheme to simulate training on unlabeled data and meta-learns initial shape priors. The second stage then introduces unlabeled data with disjoint classes in a semi-supervised scheme to diversify these priors and achieve generalization. We assess our method on both synthetic data and real collected point clouds. Experimental results and analysis validate that our approach outperforms existing neural SDF methods and is capable of robust zero-shot inference on 100+ unseen classes. Code can be found at https://github.com/princeton-computational-imaging/gensdf.

연구 동기 및 목표

• 기존 신경 SDF 방법들이 정답 부호 거리 지도를 필요로 하고 새로운 형태에서는 실패하므로, 일반화 부족 문제를 해결한다.
• 레이블이 없는 포인트 클라우드와 제한된 레이블이 있는 데이터만을 사용하여 새로운 3D 객체 카테고리에서 제로샷 추론을 가능하게 한다.
• 레이블이 있는 데이터에서 학습한 형태 사전을 서로 다른 카테고리의 레이블이 없는 데이터로 전이할 수 있는 준지도 학습 메타학습 프레임워크를 개발한다.
• 이중 단계 학습 과정에서 에피소드 기반 메타학습과 새로운 자기지도 학습 기반의 부호 예측 손실을 조합하여 일반화 능력을 향상시킨다.

제안 방법

• 첫 번째 단계는 서로 다른 레이블이 있는 데이터와 레이블이 없는 데이터 세트를 사용하여 에피소드 기반 학습을 수행함으로써, 한 세트를 정답 SDF 지도로 간주하고 다른 세트를 자기지도 학습 손실로 간주하여 초기 형태 사전을 메타학습한다.
• 두 번째 단계는 완전히 별개의 레이블이 없는 데이터 세트를 도입하고, 부호 거리의 정확한 부호를 예측하는 새로운 자기지도 학습 기반의 부호 예측 손실을 적용함으로써, 이전의 부호 없는 거리 접근 방식과는 다릅니다.
• 모델은 레이블이 있는 데이터에서의 SDF 재구성 손실과 레이블이 없는 데이터에서의 부호 인식 자기지도 학습을 조합하여 엔드 투 엔드로 훈련함으로써 학습된 사전를 더욱 정교화하고 다양화한다.
• 모델은 포인트 클라우드를 처리하고 쿼리 포인트에서 SDF 값을 예측하기 위해 다중 척도 인코더-디코더 아키텍처를 활용하며, 스케일과 노이즈에 대한 강건성을 확보하기 위해 입력 정규화 및 재중심화를 수행한다.
• 에피소드 기반 메타학습 기반은 첫 번째 단계에서 다양한 새로운 객체 카테고리로의 일반화 능력을 학습하도록 보장한다.
• 최종 모델은 재구성 품질과 일반화 능력을 측정하기 위해 합성 데이터셋(Acronym)과 실제 세계 데이터셋(YCB)에서 카메라 거리(CD)를 통해 평가된다.

실험 결과

연구 질문

• RQ1 레이블이 없는 포인트 클라우드와 추가 애너테이션 없이, 신경 SDF 모델이 100개 이상의 새로운 3D 객체 카테고리로 일반화될 수 있는가?
• RQ2 서로 다른 레이블이 있는 데이터와 레이블이 없는 데이터 세트에서의 에피소드 기반 메타학습은 표준 지도 학습 또는 비지도 학습에 비해 일반화 능력을 어떻게 향상시키는가?
• RQ3 두 번째 단계에서 자기지도 학습 기반의 부호 예측 손실을 도입함으로써 재구성 품질과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 완전히 지도 학습 또는 비지도 학습 기반의 베이스라인과 비교했을 때, 이중 단계 학습 프로토콜은 새로운 클래스에서의 제로샷 성능 측면에서 어떻게 다른가?

주요 결과

• GenSDF는 YCB 데이터셋의 166개의 새로운 클래스에서 평균 카메라 거리(CD) 0.407 × 10⁻⁴를 기록하며, 기존 SDF 방법들보다 제로샷 일반화에서 뛰어난 성능을 보였다.
• 첫 번째 단계의 메타학습만으로도 새로운 클래스에서 CD 0.515 × 10⁻⁴를 기록하여, 추가로 레이블이 없는 데이터 없이도 강력한 사전 학습 능력을 입증했다.
• 완전한 이중 단계 방법은 새로운 클래스에서 CD를 0.407 × 10⁻⁴로 감소시켜, 메타학습 전용 기반 모델 대비 22% 향상된 성능을 기록했다.
• 노이즈가 있는 입력에 대해서도 강건하게 일반화되며, YCB 스푸니어 포인트 클라우드에서 분산 σ² < 0.05인 가우시안 노이즈 조건에서도 낮은 CD(≤3.122 × 10⁻⁴)를 유지했다.
• 제거 분석 결과, 메타학습 단계가 강력한 기초를 제공한다는 점을 확인했으며, 두 번째 단계를 처음부터 학습한 경우(Only semi)는 새로운 클래스에서 CD가 유의미하게 높아(0.889 × 10⁻⁴)짐을 보였다.
• GenSDF는 훈련에 단지 20개의 레이블된 클래스만 사용했음에도 불구하고, 완전히 지도 학습 기반의 베이스라인(Sup. 76 cls)보다 새로운 클래스에서 뛰어난 성능을 기록하여 일반화 능력이 뛰어나다는 것을 입증했다.