[논문 리뷰] Cloud Dictionary: Sparse Coding and Modeling for Point Clouds

Or Litany, Tal Remez외 1명|arXiv (Cornell University)|2016. 12. 15.

Image and Signal Denoising Methods참고 문헌 5인용 수 6

한 줄 요약

이 논문은 불규칙하게 샘플링된 데이터에 대한 희박 코딩을 사용하여 포인트 클라우드용 연속 사전 학습 프레임워크를 제안한다. 국소 기하학은 연속 신호 복원을 통해 모델링된다. 포인트 클라우드 패치를 연속 함수의 표본으로 표현하고 연속 원자로 구성된 사전를 학습함으로써, 격자에 종속되지 않는 3D 포인트 클라우드에서 최신 기술 수준의 노이즈 제거 성능을 달성한다.

ABSTRACT

With the development of range sensors such as LIDAR and time-of-flight cameras, 3D point cloud scans have become ubiquitous in computer vision applications, the most prominent ones being gesture recognition and autonomous driving. Parsimony-based algorithms have shown great success on images and videos where data points are sampled on a regular Cartesian grid. We propose an adaptation of these techniques to irregularly sampled signals by using continuous dictionaries. We present an example application in the form of point cloud denoising.

연구 동기 및 목표

• 이미지와 같은 정규 격자에서 성공한 희박 코딩 기법을 불규칙하게 샘플링된 3D 포인트 클라우드에 적용하는 데 도전한다.
• 인위적인 격자나 보간을 기반으로 하는 포인트 클라우드의 패치 기반 방법의 한계를 극복한다. 이러한 방법은 오차와 계산 비용을 유발한다.
• 포인트 클라우드 신호를 연속 함수에서 표본으로 간주하여 모델링하는 연속 사전 학습 프레임워크를 개발한다. 이를 통해 격자 없는 희박 표현이 가능해진다.
• 희박 코딩을 위한 정규 응용 사례인 포인트 클라우드 노이즈 제거에서 이 방법의 효과성을 입증한다.

제안 방법

• 각 포인트 클라우드 패치를 적합된 평면 위의 국소 좌표 $ \mathbf{u} $ 에서 연속 정규 이동 신호 $ w(\mathbf{u}) $ 의 표본 집합으로 모델링한다.
• 노이즈 제거 문제를 희박 추적으로 공식화한다: $ \arg\min_{\mathbf{z}} \frac{1}{2} \| \mathbf{y}_\mathbf{G} - \mathbf{D}(\mathbf{G}) \mathbf{z} \|_2^2 $, 조건은 $ \|\mathbf{z}\|_0 \leq L $ 이며, $ \mathbf{D}(\mathbf{G}) $ 는 불규칙한 위치에서 샘플링된 연속 사전 원자이다.
• 사전 원자를 사전에 정의된 연속 기저 함수 $ \phi_i(\mathbf{u}) $ 의 선형 조합으로 표현한다. 즉, $ d_m(\mathbf{u}) = \boldsymbol{\phi}(\mathbf{u})^T \mathbf{a}_m $ 로 하여 연속 표현이 가능하게 한다.
• 연속 사전를 위한 $ k $-SVD 알고리즘을 적응시킨다: 반복적으로 희박 코드를 갱신하고 활성 패치를 사용하여 사전 원자를 개선한다.
• 노이즈 제거 동안 효율적인 최적화를 위해 $ \ell_0 $-제약 문제의 볼록 근사를 사용한다.
• 전체 노이즈 제거된 포인트 클라우드를 재구성하기 위해 겹치는 패치 평균화를 적용하여 아티팩트를 줄인다.

실험 결과

연구 질문

• RQ1 정규 격자에서 설계된 희박 코딩 기법을 불규칙하게 샘플링된 3D 포인트 클라우드 데이터에 효과적으로 적응시킬 수 있는가?
• RQ2 격자 기반 보간과 비교할 때, 연속 신호 모델링이 포인트 클라우드에서 희박 표현의 정확성과 효율성에 어떻게 기여하는가?
• RQ3 학습된 연속 사전가 3D 포인트 클라우드의 기하학적 구조를 얼마나 잘 포착할 수 있는가?
• RQ4 제안된 연속 사전 학습 프레임워크가 기존의 격자 기반 또는 보간 기반 희박 코딩보다 포인트 클라우드 노이즈 제거 작업에서 더 우수한 성능을 보일 수 있는가?

주요 결과

• 제안된 방법은 스탠포드 번니 포인트 클라우드에서 뛰어난 노이즈 제거 성능을 달성하여, 땅다운 메esh에 비해 가시적으로나 정량적으로 더 깔끔한 출력을 생성한다.
• 학습된 연속 사전는 더 매끄러운 구조를 보이며, 다양한 회전 각도에서 새로운 패tern을 생성하여 국소 기하학에 효과적으로 적응함을 나타낸다.
• 연속 사전 학습 과정은 수렴하며, 그림 4와 같이 반복 과정 동안 복원 오차가 감소함을 보였다.
• 격자 보간을 피하기 때문에, 이전 방법에서 발생하는 보간 유도 오차를 제거하고 계산 오버헤드를 줄였다.
• 고정 격자가 필요 없이 고품질의 노이즈 제거가 가능함을 보여주며, 이는 비정규 3D 데이터에 대한 연속 희박 코딩의 실현 가능성을 입증한다.