[논문 리뷰] Generalizing Discrete Convolutions for Unstructured Point Clouds

Alexandre Boulch|arXiv (Cornell University)|2019. 01. 01.

3D Surveying and Cultural Heritage인용 수 9

한 줄 요약

이 논문은 이산 커널을 연속 커널로 대체하여 비정형 포인트 클라우드에 대한 연속 합성곱 신경망을 제안한다. 이로 인해 복잡한 바이트화 없이도 흩어진 불규칙한 포인트 데이터를 직접 처리할 수 있으며, 대규모 포인트 클라우드에 대한 형태 분류, 파트 분할, 의미 분할 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Point clouds are unstructured and unordered data, as opposed to images. Thus, most of machine learning approaches, developed for images, cannot be directly transferred to point clouds. It usually requires data transformation such as voxelization, inducing a possible loss of information. In this paper, we propose a generalization of the discrete convolutional neural networks (CNNs) able to deal with sparse input point cloud. We replace the discrete kernels by continuous ones. The formulation is simple, does not set the input point cloud size and can easily be used for neural network design similarly to 2D CNNs. We present experimental results, competitive with the state of the art, on shape classification, part segmentation and semantic segmentation for large scale clouds.

연구 동기 및 목표

• 비정형이고 순서가 없는 포인트 클라우드 데이터에 전통적인 2D 합성곱 신경망(CNN)을 적용하는 데 도전하는 것.
• 정보 손실을 유발할 수 있는 데이터 변환 방법(예: 바이트화)의 한계를 극복하는 것.
• 이산 합성곱의 일반화를 제안하여 연속 커널을 사용해 흩어진 포인트 클라우드에 직접 작용하는 것.
• 2D CNN의 단순성과 효율성을 그대로 반영한 포인트 클라우드를 위한 신경망 설계를 가능하게 하는 것.
• 분류 및 분할 작업에서 대규모 포인트 클라우드 벤치마크에서 경쟁 가능한 성능을 달성하는 것.

제안 방법

• 이산 합성곱 커널을 연속 공간 영역에서 작용하는 연속 커널로 대체하는 것.
• 격자 기반 이산화를 피하기 위해 포인트 클라우드 좌표에 대한 적분 연산을 사용해 합성곱을 수식화하는 것.
• 커널 함수를 공간 이동의 연속 함수로 정의하여 임의의 포인트 분포에서 미분 가능한 연산을 가능하게 하는 것.
• 고정된 입력 치수나 사전 처리가 필요 없이 크기가 다른 포인트 클라우드를 처리할 수 있도록 네트워크를 설계하는 것.
• 지역 이웃의 특징 집약을 연속적으로 계산하기 위해 미분 가능한 샘플링 전략을 사용하는 것.
• 표준 2D CNN과 유사한 딥 러닝 아키텍처에 연속 합성곱 레이어를 통합하여 엔드 투 엔드 학습을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 바이트화나 격자 기반 샘플링에 의존하지 않고도 비정형 포인트 클라우드에 대해 연속 합성곱 연산을 효과적으로 수식화할 수 있는가?
• RQ2 기존의 이산적 또는 바이트화된 접근 방식과 비교해 제안된 연속 합성곱 방법은 성능 및 효율성 측면에서 어떻게 다른가?
• RQ3 제안된 방법이 형태 분류, 파트 분할, 의미 분할 등의 다양한 포인트 클라우드 작업에 얼마나 잘 일반화되는가?
• RQ4 연속 커널 수식은 이산적 대안보다 더 정밀한 기하학적 세부 정보를 더 잘 유지하는가?
• RQ5 기존의 표준 딥 러닝 파ip라인에 최소한의 아키텍처 수정으로 원활하게 통합될 수 있는가?

주요 결과

• 제안된 연속 합성곱 방법은 대규모 포인트 클라우드 벤치마크에서 경쟁 가능한 성능을 달성하며, 최신 기술 수준의 결과를 충족하거나 초월한다.
• 이 방법은 바이트화가 필요 없게 되어 격자 기반 표현에서 발생하는 기하학적 세부 정보 손실을 방지한다.
• 입력 크기가 다른 포인트 클라우드를 처리할 수 있도록 아키텍처가 설계되어 있으며, 패딩이나 고정 해상도 제약 조건이 필요하지 않다.
• 최소한의 사전 처리로도 흩어진 포인트 클라우드를 직접 처리할 수 있어 네트워크 설계 파이프라인을 단순화한다.
• 형태 분류, 파트 분할, 의미 분할 등의 다양한 포인트 클라우드 작업에 대해 강력한 일반화 성능을 보여준다.
• 연속 커널 수식은 비정규 구조의 데이터 구조에서 미분 가능하고 확장 가능한 특징 학습을 가능하게 한다.