[논문 리뷰] Tranquil Clouds: Neural Networks for Learning Temporally Coherent Features in Point Clouds

Lukas Prantl, Nuttapong Chentanez외 2명|arXiv (Cornell University)|2019. 07. 03.

3D Shape Modeling and Analysis참고 문헌 36인용 수 12

한 줄 요약

이 논문은 동적 포인트 클라우드에서 시간적으로 일관된 특징을 학습하기 위해 고차 시간 도함수를 포함하는 시간 손실을 도입한 새로운 딥러닝 프레임워크를 제안한다. 이는 깜빡임과 환영 아티팩트를 억제한다. 시아모이즈 네트워크 아키텍처와 패치 기반, 순열 불변 초해상도 방법, 그리고 동적 잘라내기 메커니즘을 결합함으로써, 수백만 개의 포인트를 포함하는 큰 크기의 변형되는 데이터셋에서도 안정적이고 고품질의 포인트 클라우드 업샘플링을 달성한다.

ABSTRACT

Point clouds, as a form of Lagrangian representation, allow for powerful and flexible applications in a large number of computational disciplines. We propose a novel deep-learning method to learn stable and temporally coherent feature spaces for points clouds that change over time. We identify a set of inherent problems with these approaches: without knowledge of the time dimension, the inferred solutions can exhibit strong flickering, and easy solutions to suppress this flickering can result in undesirable local minima that manifest themselves as halo structures. We propose a novel temporal loss function that takes into account higher time derivatives of the point positions, and encourages mingling, i.e., to prevent the aforementioned halos. We combine these techniques in a super-resolution method with a truncation approach to flexibly adapt the size of the generated positions. We show that our method works for large, deforming point sets from different sources to demonstrate the flexibility of our approach.

연구 동기 및 목표

• 동적 포인트 클라우드에 대한 딥러닝에서 시간적 일관성이 부족해 발생하는 깜빡임과 환영 아티팩트 문제를 해결한다.
• 크기와 위상이 시간에 따라 변화하는 포인트 세트에 대해 안정적이고 순열 불변인 표현을 학습하는 도전 과제를 극복한다.
• 고정된 출력 크기 없이도 유연하고 적응형 출력 해상도를 갖춘 초해상도 작업을 가능하게 하는 방법을 개발한다.
• 포인트 클라우드 네트워크에 특화된 새로운 형태의 모드 붕괴—환영 구조—를 식별하고 억제한다.
• 물리 시뮬레이션과 실제 스캔으로부터 유도된 표면 기반 및 부피 기반 포인트 클라우드를 포함한 다양한 데이터 유형에 대한 일반화 능력을 입증한다.

제안 방법

• 포인트 위치의 2차 시간 도함수를 포함하는 새로운 시간 손실 함수를 도입하여 부드러운 운동을 강제하고 깜빡임을 감소시킨다.
• 지구 이동 거리(EMD)를 사용해 순열 불변 연산을 수행하는 국소 포인트 패치를 처리하는 시아모이즈 스타일의 네트워크 아키텍처를 설계한다.
• 각 패치당 출력 포인트 수를 동적으로 조정할 수 있도록 잘라내기 메커니즘을 구현함으로써, 더 유연하고 효율적인 해상도 스케일링을 가능하게 한다.
• 정적이고 국소적인 패턴(예: 환영)을 방지하기 위해 공간 다양성을 장려하고 특징 공간의 국소 최소값을 피하는 데 목적이 있는 '섞기' 손실 항목을 제안한다.
• 변동하는 입력 및 출력 크기를 처리하기 위해 패치 기반 추론 전략을 사용함으로써 메모리 효율성을 향상시키고, 대규모의 변형되는 포인트 클라우드 처리를 가능하게 한다.
• 시간에 걸쳐 알려진 대응 관계를 기반으로 학습함으로써, 기하학적 정확성을 유지하면서도 시간 일관성에 대한 감독을 가능하게 한다.

실험 결과

연구 질문

• RQ1 데포머메이션과 기수 변화가 발생하는 시간에 따라 변화하는 포인트 클라우드에 대해 딥 네트워크가 시간적으로 일관된 특징 표현을 어떻게 학습할 수 있는가?
• RQ2 동적 포인트 클라우드 생성에서 깜빡임과 환영 아티팩트를 억제하는 데 효과적인 손실 함수는 무엇인가?
• RQ3 기하학적 및 시간적 정확성을 유지하면서도 출력 크기가 가변적인 포인트 클라우드 초해상도 방법을 만들 수 있는가?
• RQ4 시간 포인트 클라우드 네트워크의 실패 모드는 무엇이며, 손실 설계를 통해 어떻게 이를 완화할 수 있는가?
• RQ5 물리 시뮬레이션 데이터로 훈련된 모델이 실제 세계나 표면 기반 포인트 클라우드 시퀀스로의 일반화 능력은 어느 정도인가?

주요 결과

• 기존 작업 대비 유의미하게 낮은 공간 손실을 달성하였으며, 3D 기준 평균 0.04(2D 기준 0.05 이하)를 기록하여 기하학적 정확도 향상을 시사한다(기존 작업 대비 0.1 및 0.08).
• 시간적 일관성 손실이 거의 0 수준까지 감소하였으며, 수렴 그래프에서 안정적인 학습과 애니메이션 시퀀스에서의 최소한의 깜빡임을 확인할 수 있었다.
• 과도한 포인트 생성을 줄였으며, 거미 애니메이션의 경우 기존 작업 대비 251,146개의 포인트를 생성하여 31.79배의 증가율(기존 387.81배 대비)을 기록함으로써 더 효율적인 커버리지가 가능했다.
• 섞기 손실이 환영 아티팩트를 효과적으로 억제함을 시각적 비교를 통해 입증하였으며, 본 연구 방법은 균일한 포인트 분포와 더 적은 이격점을 유지하였다.
• 학습 데이터를 초월한 일반화 능력이 뛰어나, 표면 기반 및 부피 기반 포인트 클라우드, 특히 액체와 움직이는 인간을 포함한 다양한 시퀀스에서도 고품질 결과를 생성하였다.
• 동적 잘라내기 메커니즘이 패치별로 출력 스케일링을 가능하게 하여 총 포인트 수를 줄였고, 특히 밀도가 다양한 영역에서 형태의 정확성을 유지하는 데 기여하였다.