[논문 리뷰] Learning to Orient Surfaces by Self-supervised Spherical CNNs

Riccardo Spezialetti, Federico Stella외 4명|arXiv (Cornell University)|2020. 11. 06.

3D Shape Modeling and Analysis참고 문헌 6인용 수 9

한 줄 요약

이 논문은 구면 CNN을 사용하여 3D 점군 표면의 표준화된 3D 방향을 자기지도 학습 방식으로 학습하는 Compass를 제안한다. 구면 CNN은 본질적으로 3D 회전에 대해 등변성(-equivariance)을 가지며, 회전 불변성 데이터 증강을 통해 원시 데이터에서 학습함으로써 입력 형상을 일관된 표준 기준으로 정렬할 수 있는 회전을 예측한다. 이로 인해 회전 불변성 형태 분류 및 강건한 국소 기준 프레임 추정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Defining and reliably finding a canonical orientation for 3D surfaces is key to many Computer Vision and Robotics applications. This task is commonly addressed by handcrafted algorithms exploiting geometric cues deemed as distinctive and robust by the designer. Yet, one might conjecture that humans learn the notion of the inherent orientation of 3D objects from experience and that machines may do so alike. In this work, we show the feasibility of learning a robust canonical orientation for surfaces represented as point clouds. Based on the observation that the quintessential property of a canonical orientation is equivariance to 3D rotations, we propose to employ Spherical CNNs, a recently introduced machinery that can learn equivariant representations defined on the Special Orthogonal group SO(3). Specifically, spherical correlations compute feature maps whose elements define 3D rotations. Our method learns such feature maps from raw data by a self-supervised training procedure and robustly selects a rotation to transform the input point cloud into a learned canonical orientation. Thereby, we realize the first end-to-end learning approach to define and extract the canonical orientation of 3D shapes, which we aptly dub Compass. Experiments on several public datasets prove its effectiveness at orienting local surface patches as well as whole objects.

연구 동기 및 목표

• 현재 수작업 기반 기하학적 힌트에 의존하는 3D 표면에 대한 종단 간 학습된 표준 방향 추정의 부족을 해결하기 위해.
• 딥 러닝이 사전 정의된 기하학적 규칙에 의존하지 않고 경험을 통해 인간과 유사한 표준 방향을 획득할 수 있는지 탐구하기 위해.
• 새로운 회전과 실제 데이터의 노이즈 및 가림을 다룰 수 있는 강건한 자기지도 학습 프레임워크를 개발하기 위해.
• 구면 CNN을 통해 데이터 기반의 일관된 표준 기준 프레임을 학습함으로써 3D 비전 작업에서 회전 불변성 처리를 가능하게 하기 위해.
• SO(3)-등변성 딥 러닝이 전통적인 회전 불변성 또는 등변성 네트워크를 넘어서 표면 방향에 적용 가능한지의 타당성을 입증하기 위해.

제안 방법

• 3D 회전에 대해 등변성을 가지는 구면 CNN을 활용하여, 회전군 SO(3) 위에서 작동하는 특징 맵을 학습함으로써 좌표가 3D 회전을 나타내도록 한다.
• 센서 노이즈와 가림을 시뮬레이션하기 위해 데이터 증강 기반 자기지도 학습 목표를 도입하며, 이는 랜덤 회전과 부분 점군 마스킹 포함.
• 구면 특징 맵의 argmax를 예측된 표준 회전으로 사용하여 입력 점군을 표준 방향으로 변환한다.
• 회전 및 가림 연산을 통해 역전파가 가능한 미분 가능 데이터 증강 파이프라인을 도입하여 종단 간 학습을 가능하게 한다.
• 하류 작업(예: 형태 분류 및 국소 기준 프레임 추정)에서 회전 변동성을 중화하기 위해 학습된 방향을 적용한다.
• 두 단계 학습 프로토콜을 적용: 첫 번째로, Compass는 원시 점군에서 종단 간으로 표준 방향을 학습한다; 두 번째로, 이 방향을 사용해 표준 분류기(예: PointNet)에 입력하기 전에 데이터 전처리를 수행한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크가 명시적 지도 없이, 회전 등변성의 특성을 활용하여 표준 3D 표면 방향을 학습할 수 있는가?
• RQ2 자기지도 학습 기반의 구면 CNN 기반 방법이 회전, 노이즈, 부분 관찰 조건에서도 일관되고 강건한 표준 방향을 추정하는 데 얼마나 효과적인가?
• RQ3 딥 네트워크를 통한 표준 방향 학습이 국소 표면 패치의 방향 추정 및 전반적 형태 분류에서 수작업 기반 기하학적 방법을 능가할 수 있는가?
• RQ4 학습한 모델이 다른 데이터셋과 물체 유형 간에 얼마나 잘 일반화되는가? 특히 한 데이터셋에서 학습하고 다른 데이터셋에서 테스트할 경우의 성능을 고려하여.
• RQ5 SO(3)-등변성 네트워크를 사용할 경우, 기존의 표준 회전 불변성 또는 데이터 증강 모델 대비 새로운 회전에 대한 일반화 능력이 향상되는가?

주요 결과

• Compass를 사용해 PointNet 입력을 전처리했을 때, ModelNet40의 회전된 테스트 세트에서 72.20%의 정확도를 기록하며, 임의의 회전에서 실패하는 기준 방법들을 크게 능가한다.
• 데이터 증강 없이 학습한 PointNet는 회전된 테스트 데이터에서 정확도가 12.47%로 급격히 하락하지만, Compass+PointNet는 72.20%로 복구되며, 학습된 표준 방향의 효과를 입증한다.
• 새로운 데이터셋으로의 일반화 성능이 뛰어나, ModelNet40에서 학습한 모델이 기하학적 변형이 있는 ShapeNet 데이터셋의 형태를 일관된 표준 기준으로 정렬하는 데 성공한다.
• Compass는 국소 기준 프레임 추정에서 최신 기술 수준의 성능을 달성하며, 자기 가림 및 부분 시야 조건에서도 강건함을 보였다.
• 표준 방향 설정(비교 기준, NR)에서는 Compass+PointNet가 순수 PointNet(80.51% 대 89.82%)보다 성능이 열등하여, Compass의 가치가 회전 변동성이 존재할 때에만 부각됨을 확인한다.
• 정성적 결과에서는, 매우 다양한 형태의 물체에 대해서도 Compass가 일관된 표준 방향을 생성함을 보여주며, 강력한 일반화 및 불변성 능력을 나타낸다.