[논문 리뷰] PAPR: Proximity Attention Point Rendering

Yanshu Zhang, Shichong Peng외 2명|arXiv (Cornell University)|2023. 07. 20.

3D Shape Modeling and AnalysisEngineering인용 수 3

한 줄 요약

PAPR는 RGB 감독만으로도 작고 효율적인 점 기반의 3D 시나리오 표현과 렌더러를 통해 정확한 기하학적 구조와 텍스처를 동시에 학습하는 가중치 미분 가능한 점 기반 3D 시나리오 표현 및 렌더링 방법을 제안한다. 레이 기반의 점 임베딩과 학습 가능한 影향 스코어, 그리고 시야에 영향을 받지 않는 특징을 활용함으로써 PAPR는 고해상도 렌더링을 달성하고 기존 방법에 비해 뛰어난 강건성과 효율성을 바탕으로 제로샷 기하학 편집, 객체 조작, 텍스처 전이, 노출 조절을 가능하게 한다.

ABSTRACT

Learning accurate and parsimonious point cloud representations of scene surfaces from scratch remains a challenge in 3D representation learning. Existing point-based methods often suffer from the vanishing gradient problem or require a large number of points to accurately model scene geometry and texture. To address these limitations, we propose Proximity Attention Point Rendering (PAPR), a novel method that consists of a point-based scene representation and a differentiable renderer. Our scene representation uses a point cloud where each point is characterized by its spatial position, influence score, and view-independent feature vector. The renderer selects the relevant points for each ray and produces accurate colours using their associated features. PAPR effectively learns point cloud positions to represent the correct scene geometry, even when the initialization drastically differs from the target geometry. Notably, our method captures fine texture details while using only a parsimonious set of points. We also demonstrate four practical applications of our method: zero-shot geometry editing, object manipulation, texture transfer, and exposure control. More results and code are available on our project website at https://zvict.github.io/papr/.

연구 동기 및 목표

• 오직 RGB 감독만을 사용하여 초기 상태에서 정확하고 효율적인 3D 점군 표현을 학습하는 데에 도전한다.
• 기존의 점 기반 신경 렌더링 방법에서 발생하는 기울기 소실 문제와 열악한 기하학적 학습 성능을 해결한다.
• 초기화가 목표 기하학과 멀리 떨어져 있더라도, 소수의 점으로도 효과적인 기하학적 및 텍스처 학습을 가능하게 한다.
• 점의 위치와 특징을 직접 조작하여 제로샷 편집, 객체 조작, 텍스처 전이와 같은 실용적 응용 사례를 보여준다.
• 각 레이에 대해 관련 있는 점을 선택하고 그 특징을 통합하여 고품질의 색상 렌더링을 수행하는 가중치 미분 가능한 렌더러를 개발한다.

제안 방법

• 각 점이 3D 위치, 영향 스코어, 그리고 시야에 영향을 받지 않는 특징 벡터를 가지는 점군 표현을 사용한다.
• 가중치 미분 가능한 렌더러는 거리와 영향 스코어를 기반으로 각 레이에 대해 관련 있는 점을 선택하며, 위치와 이동량을 조합한 레이 기반의 점 임베딩을 사용한다.
• 선택된 점들의 특징에 대해 학습 가능한 집약 메커니즘을 사용하여 최종 색상을 계산한다.
• 점 임베딩 설계에는 위치 벡터 $p_i$와 레이의 원점에서 점까지의 이동 벡터 $t_{i,j}$를 포함하여 학습 중 효과적인 기울기 흐름을 확보한다.
• 이미지 재구성 품질을 최적화하기 위한 손실 함수를 사용하여 RGB 감독 하에 엔드 투 엔드로 모델을 훈련한다.
• 점의 위치와 특징을 직접 조작함으로써 기하학적 및 텍스처 편집을 가능하게 하며, 제로샷 기하학 편집을 지원한다.

실험 결과

연구 질문

• RQ1 가중치 미분 가능한 렌더러는 오직 RGB 감독만으로도 희소한 점군으로부터 정확한 3D 기하학적 구조와 텍스처를 학습할 수 있는가?
• RQ2 제안된 레이 기반의 점 임베딩은 나쁜 초기화 상태에서도 기하학적 학습에 얼마나 효과적인가?
• RQ3 기존 방법에 비해 더 적은 수의 점으로도 기하학적 및 텍스처의 정확성을 유지하면서 고품질의 렌더링을 달성할 수 있는가?
• RQ4 PAPR는 탈형, 객체 복제, 텍스처 전이와 같은 실용적 3D 편집 작업을 어느 정도 지원할 수 있는가?
• RQ5 기준 모델 대비 점의 수가 감소할 경우 PAPR의 강건성은 어느 정도 유지되는가?

주요 결과

• PAPR는 합성 및 실세계 데이터셋 모두에서 소수의 점으로 최신 기술을 초월하는 렌더링 품질을 달성하며, Point-NeRF와 DPBRF를 능가한다.
• 절단 실험을 통해 위치 $p_i$ 또는 이동 벡터 $t_{i,j}$를 제거할 경우 기하학적 구조와 렌더링 품질이 심각하게 악화됨을 확인하여, 레이 기반 임베딩 설계의 중요성을 입증한다.
• 목표 기하학으로부터 멀리 떨어져 초기화된 상태에서도 PAPR는 정확한 표면 기하학을 성공적으로 학습하여 나쁜 초기화에 대한 강건성을 입증한다.
• 추가 훈련 없이도 강체 굽힘, 회전, 부피를 유지하지 않는 변형과 같은 제로샷 기하학 편집을 구현할 수 있다.
• 객체의 복제 및 제거는 점의 위치와 특징을 수정함으로써 수행되며, 표면 연속성과 렌더링 품질을 유지한다.
• 한 물체(mustard)의 특징 벡터를 다른 물체(ketchup)로 전이함으로써 텍스처 전이가 성공적으로 구현되었으며, 현실적이고 일관된 텍스처 변화를 만들어냈다.