[논문 리뷰] NeeDrop: Self-supervised Shape Representation from Sparse Point Clouds using Needle Dropping

Alexandre Boulch, Pierre-Alain Langlois외 2명|arXiv (Cornell University)|2021. 11. 30.

3D Shape Modeling and Analysis참고 문헌 65인용 수 14

한 줄 요약

NeeDrop는 버폰의 바늘 문제에서 영감을 얻은 바늘 떨어뜨림 손실을 사용하여 희소 포인트 클라우드에서 3D 형태 표현을 자기지도 학습 방식으로 학습하는 방법을 제안한다. 희소 포인트 클라우드 위에 무작위로 바늘을 샘플링하고 통계적 표면 통과 확률을 활용함으로써, 합성 데이터에서는 지도 학습 방법과 수준을 이루는 복원 품질을 달성하고, 실세계 KITTI 라이다 데이터에서는 형태 지도나 밀도 높은 포인트 클라우드 없이도 유망한 결과를 도출한다.

ABSTRACT

There has been recently a growing interest for implicit shape representations. Contrary to explicit representations, they have no resolution limitations and they easily deal with a wide variety of surface topologies. To learn these implicit representations, current approaches rely on a certain level of shape supervision (e.g., inside/outside information or distance-to-shape knowledge), or at least require a dense point cloud (to approximate well enough the distance-to-shape). In contrast, we introduce NeeDrop, a self-supervised method for learning shape representations from possibly extremely sparse point clouds. Like in Buffon's needle problem, we "drop" (sample) needles on the point cloud and consider that, statistically, close to the surface, the needle end points lie on opposite sides of the surface. No shape knowledge is required and the point cloud can be highly sparse, e.g., as lidar point clouds acquired by vehicles. Previous self-supervised shape representation approaches fail to produce good-quality results on this kind of data. We obtain quantitative results on par with existing supervised approaches on shape reconstruction datasets and show promising qualitative results on hard autonomous driving datasets such as KITTI.

연구 동기 및 목표

• 밀도 높은 포인트 클라우드나 형태 지도 없이도 3D 형태 복원을 위한 자기지도 학습 방법을 개발하는 것.
• 자율주행 차량의 라이다에서 유도되는 매우 희소하고 노이지이며 부분적인 포인트 클라우드로부터도 강건한 학습을 가능하게 하는 것.
• 학습 중 메쉬 기반 지도나 표면까지의 거리 신호에 의존하지 않도록 하는 것.
• 직접 Marching Cubes 알고리즘을 사용해 메쉬로 변환할 수 있는 고품질의 암묵적 점유 필드를 생성하는 것.
• 지상 진짜 형태 지도가 제공되지 않는 합성 데이터셋과 실세계 자율주행 데이터에서 방법의 유효성을 검증하는 것.

제안 방법

• 이 방법은 바늘 떨어뜨림에 기반한 새로운 자기지도 손실을 도입한다: 입력 포인트 클라우드의 점들로부터 무작위 선분(바늘)을 샘플링하고, 모델은 바늘 끝점이 형태 표면의 같은 쪽 또는 반대 쪽에 있는지를 예측한다.
• 손실 함수는 통계적 표면 통과 확률에서 유도되며, 같은 쪽(라벨 1)과 반대 쪽(라벨 0) 예측에 대해 각각 다른 항을 가지며, 수치적 안정성을 확보하기 위해 시그모이드 및 지수 변환을 사용한다.
• 네트워크 아키텍처는 희소 포인트 클라우드를 잠재 벡터로 인코딩하기 위해 PointNet 기반 백본을 사용하고, 이후 다층 퍼셉트론을 통해 3D 공간 내 쿼리 포인트에서의 점유 값을 예측한다.
• 손실은 포인트 클라우드당 여러 개의 무작위 바늘을 샘플링하여 계산되며, 끝점은 입력 점들을 변형하여 생성되고, 모델은 점유 필드 기반으로 올바른 쪽 레이블을 예측하도록 훈련된다.
• PointNet 인코더의 맥스 풀링 덕분에 점의 중복에 대해 불변성을 가지며, 저밀도 및 중복된 점들에 대해서도 성능 저하 없이 처리할 수 있다.
• 훈련 중에 차량의 대칭 평면을 기준으로 포인트 클라우드를 반사함으로써 대칭 증강을 적용하여 부분 시야에서의 일반화 성능을 향상시킨다.

Figure 1: Different kinds of supervision.

실험 결과

연구 질문

• RQ1 희소한 포인트 클라우드에서 형태 지도 없이도 자기지도 학습 방법이 고품질의 3D 형태 표현을 학습할 수 있는가?
• RQ2 입력 포인트 클라우드가 희소하거나 불완전하더라도 바늘 떨어뜨림 손실이 표면 기하학을 효과적으로 포착할 수 있는가?
• RQ3 실세계 자율주행 데이터셋인 KITTI와 같은 환경에서도 이 방법이 일반화 가능한가?
• RQ4 표준 형태 복원 벤치마크에서 자기지도 학습 NeeDrop 방법이 지도 학습 기반 방법보다 성능가능한가?
• RQ5 실제 시나리오에서 더 현실적인 부분 시야를 학습 데이터로 사용하는 것보다 완전한 형태로 학습하는 것이 더 나은 일반화 성능을 내는가?

주요 결과

• NeeDrop는 형태 지도 없이도 ShapeNet 및 D-Shape 데이터셋에서 지도 학습 방법과 수준의 정량적 복원 성능를 달성한다.
• KITTI 데이터셋에서는 희소하고 부분적이며 노이지가 많은 자율주행 라이다 포인트 클라우드에서도 타당하고 일관된 3D 복원 결과를 생성한다.
• 완전한 형태로 학습한 모델가 부분 시야로 학습한 모델보다 더 우수한 일반화 성능를 보이며, 이는 전체 기하학적 맥락이 잠재 공간 학습에 도움이 된다는 것을 시사한다.
• 기존 방법이 거리 지도에 의존하기 때문에 밀도 높은 포인트 클라우드가 필요한 상황에서 실패하는 실질적인 라이다 센서에서의 매우 희소한 입력도 성공적으로 처리한다.
• 훈련 중 대칭 증강을 사용함으로써 부분 포인트 클라우드에서 특히 차량과 같은 대칭 물체의 복원 품질이 향상된다.
• NeeDrop 손실은 희소하고 노이지 있는 입력에 대해 강건하며, 합성 및 실세계 데이터 분포에서 일관된 성능을 보여주어 안정성을 입증한다.

Figure 2: Needles as pairs of points.