[논문 리뷰] Rotation Invariant Convolutions for 3D Point Clouds Deep Learning

Zhiyuan Zhang, Binh‐Son Hua외 2명|arXiv (Cornell University)|2019. 08. 17.

3D Surveying and Cultural Heritage인용 수 12

한 줄 요약

이 논문은 3차원 점군에 대한 회전 불변성 컨볼루션 연산자인 RIConv를 제안한다. 이는 중심점 기반 기준 방향에 대한 상대적인 저수준 기하 특징(거리 및 각도 등)을 사용하여 6-자유도 변환에 대해 불변성을 확보한다. 이러한 특징들을 바이닝 전략과 조합하여 점 순서 문제를 해결함으로써, 물체 분류 및 분할 작업에서 임의의 회전에 대해 일관되고 높은 정확도를 달성하며, 기존 방법보다 일반화 성능이 뛰어나다.

ABSTRACT

Recent progresses in 3D deep learning has shown that it is possible to design special convolution operators to consume point cloud data. However, a typical drawback is that rotation invariance is often not guaranteed, resulting in networks being trained with data augmented with rotations. In this paper, we introduce a novel convolution operator for point clouds that achieves rotation invariance. Our core idea is to use low-level rotation invariant geometric features such as distances and angles to design a convolution operator for point cloud learning. The well-known point ordering problem is also addressed by a binning approach seamlessly built into the convolution. This convolution operator then serves as the basic building block of a neural network that is robust to point clouds under 6DoF transformations such as translation and rotation. Our experiment shows that our method performs with high accuracy in common scene understanding tasks such as object classification and segmentation. Compared to previous works, most importantly, our method is able to generalize and achieve consistent results across different scenarios in which training and testing can contain arbitrary rotations.

연구 동기 및 목표

• 기존 3차원 점군 컨볼루션 연산자에서의 회전 불변성 부족 문제를 해결하여, 임의의 회전 조건 하에서도 일반화 성능을 향상시키는 것.
• 점군 컨볼루션에서 발생하는 점 순서 문제를 해결하여, 다양한 입력 순열 간의 특징 일관성을 확보하는 것.
• 입력 점의 회전과 순서 변경에 모두 강건한 단일 컨볼루션 연산자를 설계하는 것.
• 3차원 장면 이해 작업에서 다양한 회전 시나리오에 대해 일관된 일반화 성능을 보이는 딥 러닝 모델을 구축하는 것.
• 임의의 SO(3) 회전 조건 하에서 물체 분류 및 부분 분할 작업에서 최신 기술 수준의 일관성과 정확도를 입증하는 것.

제안 방법

• 기준 점에서 국소 점군의 중심으로 향하는 벡터를 사용하여 기준 방향을 계산함으로써, 회전 불변성 특징 계산을 가능하게 한다.
• 각 점으로부터 기준 방향에 상대적인 회전 불변 기하 특징(예: 거리, 각도)을 추출하여, 전역 회전과 무관한 특징 벡터를 구성한다.
• 다중층 퍼셉트론(MLP)을 통해 이러한 기하 특징을 고차원 표현으로 변환하여 특징 표현력 향상.
• 점의 특징을 기준 방향 벡터를 따라 공간 빈(bin)에 그룹화하고, 각 빈 내에서 최댓값 풀링을 적용하여 국소 정보를 집계한다.
• 모든 빈의 풀링된 특징에 1차원 컨볼루션을 적용하여 최종 출력 특징 맵을 생성함으로써 국소 영역 내에서의 공간 불변성을 확보한다.
• 전체 컨볼루션 연산을 단순한 CNN 아키텍처에 통합하여 분류 및 분할 작업에서 엔드 투 엔드 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 임의의 6-자유도 변환(회전 및 이동 포함)에 대해 불변인 3차원 점군 컨볼루션 연산자를 설계할 수 있는가?
• RQ2 순열 등변 네트워크에 의존하지 않고 점군 컨볼루션의 점 순서 모호성 문제를 어떻게 해결할 수 있는가?
• RQ3 거리 및 각도와 같은 저수준 기하 특징을 딥 러닝에서 회전 불변 표현을 구성하는 데 효과적으로 활용할 수 있는가?
• RQ4 제안된 방법은 3차원 장면 이해 작업에서 다양한 회전 시나리오에 대해 기존 방법보다 더 잘 일반화되는가?
• RQ5 원래 3차원 좌표 정보의 손실이 성능에 미치는 영향은 어느 정도이며, 이 상호 간의 트레이드오프는 어떻게 완화할 수 있는가?

주요 결과

• 제안된 RIConv 연산자는 SO(3) 회전 조건을 포함한 모든 테스트 회전 시나리오에서 일관된 성능을 보이며, 기존 방법이 실패하거나 성능이 급격히 떨어지는 경우에도 유사한 성능 유지를 한다.
• 물체 분류 작업에서, 임의의 회전 조건 하에서 ModelNet40에서 전체 정확도 89.7%를 달성하며, 일반화 성능에서 이전 방법을 능가한다.
• 물체 부분 분할 작업에서는 최신 기술 수준의 성능을 달성하였으며, 정성적 결과를 통해 복잡한 회전 조건에서도 강건함을 입증한다.
• 다양한 점군 크기(28~1024점)에 대해 잘 일반화되며, 높은 정확도를 유지함으로써 확장성 잠재력을 보여준다.
• 단일 글로벌 벡터 대신 64개의 길이 512의 특징 벡터를 사용할 경우 정확도가 약간 향상됨을 확인하여, 더 rich한 특징 표현이 분류 성능 향상에 기여함을 시사한다.
• 기하 특징 대신 원래 3차원 좌표 정보를 복원한 경우 91.8%의 정확도를 달성함으로써, 불변성과 분류 능력 사이의 상호 간 트레이드오프가 존재함을 확인한다.