[논문 리뷰] Discrete Rotation Equivariance for Point Cloud Recognition

Jiaxin Li, Yingcai Bi외 1명|arXiv (Cornell University)|2019. 03. 31.

3D Shape Modeling and Analysis참고 문헌 43인용 수 4

한 줄 요약

이 논문은 입력 점군에 사전 정의된 회전을 적용하고 특성 순열을 활용하여 SO(2)/SO(3) 등변성을 달성하는 이산적 회전 등변성 방법을 제안한다. 이 방법은 PointNet-FE와 같은 다층계층 네트워크와 통합될 때, ModelNet40에서 SO(3) 회전 하에서 최대 10.8%까지 분류 정확도를 향상시키며, 특히 SO(3) 회전 하에서 뛰어난 성능 향상을 보인다. 이는 기존 PointNet의 전역 풀링 설계로 인해 회전에 취약하다는 점을 드러낸다.

ABSTRACT

Despite the recent active research on processing point clouds with deep networks, few attention has been on the sensitivity of the networks to rotations. In this paper, we propose a deep learning architecture that achieves discrete $\mathbf{SO}(2)$/$\mathbf{SO}(3)$ rotation equivariance for point cloud recognition. Specifically, the rotation of an input point cloud with elements of a rotation group is similar to shuffling the feature vectors generated by our approach. The equivariance is easily reduced to invariance by eliminating the permutation with operations such as maximum or average. Our method can be directly applied to any existing point cloud based networks, resulting in significant improvements in their performance for rotated inputs. We show state-of-the-art results in the classification tasks with various datasets under both $\mathbf{SO}(2)$ and $\mathbf{SO}(3)$ rotations. In addition, we further analyze the necessary conditions of applying our approach to PointNet based networks. Source codes at https://github.com/lijx10/rot-equ-net

연구 동기 및 목표

• 점군 인식을 위한 딥러닝 모델에서의 회전 등변성 부족 문제를 해결하기 위해.
• 구조적 개조 없이도 일반화 가능한 방법을 개발하여 이산적 SO(2)/SO(3) 회전 등변성을 달성하기 위해.
• 특히 SO(3) 회전 하에서의 점군 분류 작업 성능 향상을 위해.
• PointNet과 같은 기존 네트워크에 이 방법을 통합하기 위한 구조적 요구 조건을 분석하기 위해.
• 데이터 증강의 설명 가능하고 체계적인 대안을 제공하기 위해.

제안 방법

• SO(2) 또는 SO(3) 내 이산적 회전을 위한 유한한 k원소의 회전군 R = {r_i, i ∈ [0, ..., k-1]}을 정의한다.
• 각 회전 r_i를 입력 점군에 적용하고, 모든 변환된 점군을 동일한 네트워크에 입력하여 k개의 특성 벡터를 생성한다.
• R의 원소로 입력 점군을 회전시키면 k개의 출력 특성 벡터가 순열됨을 증명함으로써, 회전 등변성을 확립한다.
• max 또는 평균 풀링과 같은 순열 등변성 연산을 적용하여 불변성을 달성한다.
• PointNet, SO-Net, PointNet-FE 등 기존 점군 네트워크의 핵심 아키텍처를 수정하지 않고 이 방법을 통합한다.
• 미래 방향으로 극좌표 변환을 사용하여 회전 등변성을 이동 등변성으로 전환한다.

실험 결과

연구 질문

• RQ1 일반적이고 플러그인 방식의 이산적 SO(2)/SO(3) 회전 등변성이 점군 네트워크에서 달성될 수 있는가?
• RQ2 제안된 방법은 데이터 증강과 비교해 회전된 점군 분류 성능을 어떻게 향상시키는가?
• RQ3 왜 이 방법은 PointNet-FE와 SO-Net에서는 성능 향상을 보이나, 기존 PointNet에서는 성능 저하를 초래하는가?
• RQ4 이러한 등변성 설계에서 유의미한 성능 향상을 얻기 위해 네트워크가 가져야 할 구조적 특성은 무엇인가?
• RQ5 좌표 변환을 활용해 이 방법을 연속적 회전 등변성으로 확장할 수 있는가?

주요 결과

• 제안된 방법은 SO(2) 및 SO(3) 회전 하에서 ModelNet40과 MNIST에서 최신 기술 수준의 성능을 달성한다.
• ModelNet40에서 PointNet-FE에 적용했을 때, SO(3) 회전 하에서 분류 정확도가 10.8% 향상된다.
• SO-Net에 적용했을 경우, SO(3) 회전 하에서 정확도가 4.4% 향상되어 다층계층 네트워크에서 일관된 성능 향상을 입증한다.
• 기존 PointNet는 이 방법을 적용한 후 SO(3) 회전 하에서 성능이 19.9% 감소한다. 이는 전역 풀링 설계로 인해 특성 간 상호작용이 제한되기 때문이다.
• SO(2)에 비해 SO(3)에서 성능 향상이 더 두드러지며, 이는 2D 회전 상황에서는 이미 데이터 증강이 효과적이기 때문일 것이다.
• 회전군 크기를 늘일수록 성능 향상이 이루어지지만, 수익 감소 현상이 발생하며, 계산 비용은 군 크기와 선형적으로 증가한다.