[논문 리뷰] A-CNN: Annularly Convolutional Neural Networks on Point Clouds

Artem Komarichev, Zichun Zhong외 1명|arXiv (Cornell University)|2019. 04. 16.

3D Shape Modeling and Analysis참고 문헌 45인용 수 37

한 줄 요약

A-CNN은 규칙 링과 확장 링을 사용하여 포인트 클라우드에서 환형 합성곱을 도입하고 로컬 기하학을 포착하며, 분류 및 세분화 벤치마크에서 최첨단 성능을 달성합니다.

ABSTRACT

Analyzing the geometric and semantic properties of 3D point clouds through the deep networks is still challenging due to the irregularity and sparsity of samplings of their geometric structures. This paper presents a new method to define and compute convolution directly on 3D point clouds by the proposed annular convolution. This new convolution operator can better capture the local neighborhood geometry of each point by specifying the (regular and dilated) ring-shaped structures and directions in the computation. It can adapt to the geometric variability and scalability at the signal processing level. We apply it to the developed hierarchical neural networks for object classification, part segmentation, and semantic segmentation in large-scale scenes. The extensive experiments and comparisons demonstrate that our approach outperforms the state-of-the-art methods on a variety of standard benchmark datasets (e.g., ModelNet10, ModelNet40, ShapeNet-part, S3DIS, and ScanNet).

연구 동기 및 목표

• 규칙 격자로 변환하지 않고 불규칙하고 희박한 3D 포인트 클라우드에서 학습하는 도전과제를 동기 부여하고 해결합니다.
• 규칙 링과 확장 링을 이용한 링 모양 영역을 통해 국부 이웃 기하를 포착하는 환형 합성곱을 제안합니다.
• 제약 기반 링 k-NN, 이웃 정렬, 환형 합성곱, 링 풀링을 활용하는 계층적 네트워크 아키텍처를 개발합니다.
• 대규모 장면에서 객체 분류, 부품 세분화, 의미론적 세분화에 대한 최첨단 성능을 입증합니다.

제안 방법

• 제약 기반 k-NN 검색으로 비중첩 로컬 이웃을 형성하기 위해 규칙 링과 확장 링을 정의합니다.
• 투사된 접선면에서 이웃을 정렬하여 시계방향/반시계방향 순서를 얻습니다.
• 정렬된 링 이웃에 대해 구성 가능한 커널 크기(예: 1x3, 1x5)와 원형 일관성을 위한 순환 연결을 사용하여 환형 합성곱을 적용합니다.
• 각 링 내에서 최대 풀링을 사용하여 링별 설명자를 만들고 링들을 연결하여 더 높은 수준의 추상화를 얻습니다.
• 규칙 링을 먼저, 확장 링을 나중에 사용하는 두 가지 분기 인코더를 사용하고, 그 뒤에 분류기나 세분화 헤드를 둡니다.
• 학습된 보간에 의한 특징 전파를 사용하여 샘플을 업샘플하고 세분화 작업에서 포인트별 라벨을 예측합니다.

실험 결과

연구 질문

• RQ1 링 이웃에서의 환형 합성곱이 기존의 포인트 기반 합성곱과 비교하여 포인트 클라우드의 국소 기하를 표현하는 데 개선을 가져올 수 있나요?
• RQ2 규칙 링과 확장 링 구조가 중첩과 중복을 줄이고 포인트 클라우드에서 다중 스케일 맥락 집계를 가능하게 하나요?
• RQ3 투사된 접선면에서의 이웃 정렬이 3D 작업에서 국소 포인트 관계의 효과적인 학습을 가능하게 하나요?
• RQ4 제안된 A-CNN 아키텍처가 분류, 부품 세분화, 의미론적 세분화 데이터 세트에서 최첨단 결과를 달성할 수 있나요?

주요 결과

ModelNet10 AAC	ModelNet10 OA	ModelNet40 AAC	ModelNet40 OA
A-CNN (저희)	95.3	95.5	90.3	92.6
PointNet [26]	-	-	-	89.2
Kd-Net [13]	93.5	94.0	88.5	91.8
Pointwise CNN [9]	-	-	81.4	86.1
KCNet [32]	-	94.4	-	91.0
PointGrid [16]	-	-	88.9	92.0
PCNN [3]	-	94.9	-	92.3
PointCNN [18]	-	-	88.1	92.2
Point2Sequence [19]	95.1	95.3	90.4	92.6
A-CNN (저희)	95.3	95.5	90.3	92.6

• A-CNN은 1024포인트 입력에서 ModelNet10(AAC 95.3, OA 95.5) 및 ModelNet40(AAC 90.3, OA 92.6)에서 최첨단에 근접한 정확도를 달성합니다.
• A-CNN은 모델 분류 벤치마크에서 많은 포인터드 기반 방법보다 우수하며, 여러 체적 및 다중 뷰 접근법과 경쟁하거나 능가합니다.
• ShapeNet-part, S3DIS, ScanNet 세분화 벤치마크에서 A-CNN은 강한 평균 IoU 점수와 데이터셋 간 경쟁력 있는 OA를 달성합니다(논문 표 2에 보고됨).
• 변형 연구는 중첩 없이 링, 이웃 정렬, 환형 합성곱이 각각 성능에 기여하며, 링 구조가 가장 큰 이점을 제공합니다.