[논문 리뷰] A Deep Signed Directional Distance Function for Object Shape Representation

Ehsan Zobeidi, Nikolay Atanasov|arXiv (Cornell University)|2021. 07. 23.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 임의의 3D 위치와 시야 방향에서 물체 표면까지의 거리를 모델링하는 암묵적 3D 형상 표현을 위한 딥 서명된 방향 거리 함수(SDDF)를 제안한다. 네트워크 설계 중 구조적 기울기 제약를 적용함으로써, 3D 감독 없이도 깊이 또는 라이다 데이터만으로 학습이 가능하게 하고, 잠재 코드를 통한 카테고리 수준의 형상 모델링을 지원하며, 최소한의 후처리로 정확한 새로운 시점 합성과 형상 보완을 달성한다.

ABSTRACT

Neural networks that map 3D coordinates to signed distance function (SDF) or occupancy values have enabled high-fidelity implicit representations of object shape. This paper develops a new shape model that allows synthesizing novel distance views by optimizing a continuous signed directional distance function (SDDF). Similar to deep SDF models, our SDDF formulation can represent whole categories of shapes and complete or interpolate across shapes from partial input data. Unlike an SDF, which measures distance to the nearest surface in any direction, an SDDF measures distance in a given direction. This allows training an SDDF model without 3D shape supervision, using only distance measurements, readily available from depth camera or Lidar sensors. Our model also removes post-processing steps like surface extraction or rendering by directly predicting distance at arbitrary locations and viewing directions. Unlike deep view-synthesis techniques, such as Neural Radiance Fields, which train high-capacity black-box models, our model encodes by construction the property that SDDF values decrease linearly along the viewing direction. This structure constraint not only results in dimensionality reduction but also provides analytical confidence about the accuracy of SDDF predictions, regardless of the distance to the object surface.

연구 동기 및 목표

• 새로운 거리 시점 합성을 지원하는 연속적이고 미분 가능한 암묵적 형상 표현을 개발하기 위해.
• 깊이 또는 라이다 측정값만으로도 3D 감독이 필요 없도록 학습함으로써 3D 감독의 필요성을 제거하기 위해.
• SDDF 값이 시야 방향에 따라 선형적으로 감소하는 기하학적 제약 조건을 네트워크 아키텍처에 내재적으로 구현하는 신경망 아키텍처를 구축하기 위해.
• 학습된 잠재 코드 공간을 통해 카테고리 수준의 형상 모델링과 보간을 가능하게 하기 위해.
• 단일 포인트 클라우드로부터 새로운 시점의 거리 측정값을 합성하기 위한 새로운 데이터 증강 기법을 통해 데이터 요구량을 줄이기 위해.

제안 방법

• 점 p에서 단위 벡터 η 방향으로 물체 표면까지의 부호 거리를 측정하는 연속 함수 h(p, η)로 서명된 방향 거리 함수(SDDF)를 제안한다.
• SDDF 값이 시야 방향에 따라 선형적으로 감소하도록 보장하는 미분 방정식을 유도하고, 이를 네트워크 아키텍처에 구조적으로 통합한다.
• SDDF 기울기 제약을 강제하는 수정된 손실 함수를 갖는 신경망을 설계하여, 표면 추출 또는 렲영 단계 없이도 강력한 학습이 가능하도록 한다.
• 구면 투영과 볼록 Hull 근사 기법을 사용하여, 단일 포인트 클라우드만으로도 새로운 시점의 거리 측정값을 합성하는 데이터 증강 기법을 도입한다.
• 카테고리 수준의 오토디코더와 인스턴스 수준의 잠재 코드를 SDDF 모델에 확장하여, 다양한 형상 카테고리 간의 보간 및 보완을 지원한다.
• 표면 추출이나 Marching Cubes와 같은 후처리 단계 없이, 깊이 센서로부터의 거리 측정값만을 사용하여 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 신경망은 3D 감독 없이도 희박한 깊이 측정값에서 연속적이고 다중 시점 일관성 있는 SDDF 표현을 학습할 수 있는가?
• RQ2 SDDF 값이 시야 방향에 따라 선형적으로 감소하는 구조적 제약 조건을 신경망에 내장함으로써 일반화 성능 향상과 데이터 의존도 감소를 이룰 수 있는가?
• RQ3 SDDF 모델은 카테고리 수준의 형상 표현을 지원하여, 부분 관측에서의 미관측 인스턴스의 보간 및 보완이 가능한가?
• RQ4 재구성 정확도와 희박한 입력에 대한 강건성 측면에서 기존의 암묵적 및 명시적 형상 표현과 비교해 SDDF 모델은 어떻게 성능을 내는가?
• RQ5 SDDF 모델은 표면 추출이나 미분 가능 렌더링 없이도 직접적으로 새로운 거리 시점 예측을 생성할 수 있는가?

주요 결과

• 제안된 SDDF 모델은 단일 거리 이미지 또는 포인트 클라우드 관측에서 정확한 형상 재구성을 달성하며, GRNet, AtlasNet, PCN와 같은 최신 기법들과 비교해 정량적 성능이 유사하거나 이를 초월한다.
• 잠재 형상 공간에서 매끄럽고 의미 있는 선형 보간이 가능하여, ShapeNet에서의 정성적 결과를 통해 객체 인스턴스 간의 유효한 중간 형상을 생성함을 입증했다.
• 테스트 시점에 잠재 코드 최적화를 통한 형상 보완은 단지 1000개의 유한 광선과 1000개의 무한 광선으로도 고품질 재구성을 생성하며, IGR 및 기타 베이스라인에 비해 재구성 정확도에서 뛰어난 성능을 보였다.
• 구조적 기울기 제약 조건은 입력 차원을 5에서 4로 감소시켜 학습 효율성을 향상시키고, 표면과의 거리에 관계없이 정확한 예측이 가능하게 했다.
• 데이터 증강 기법을 통해 소규모 데이터셋에서 다중 시점 일관성 있는 SDDF 모델을 학습시킬 수 있어, 대규모 다중 시점 깊이 데이터에 대한 의존도를 감소시켰다.
• 모델은 임의의 위치와 방향에서 직접적인 거리 예측을 수행하여, 표면 추출 또는 렌더링과 같은 후처리 단계가 필요 없음을 입증했다.