[논문 리뷰] Iterative Transformer Network for 3D Point Cloud

Wentao Yuan, David Held외 2명|arXiv (Cornell University)|2018. 11. 27.

3D Shape Modeling and Analysis참고 문헌 32인용 수 38

한 줄 요약

이 논문은 부분적이고 정렬되지 않은 포인트 클라우드를 표준화하기 위해 반복적으로 강체 변환을 예측하는 새로운 3D 포인트 클라우드 트랜스포머인 반복적 트랜스포머 네트워크(IT-Net)를 제안한다. 단계별로 자세 예측을 개선하고 강체(회전/이동만 허용) 변환을 강제함으로써, 특히 음영과 임의의 방향을 가진 어려운 실세계 데이터에서 T-Net과 같은 기준 트랜스포머보다 형태 분류 및 부분 분할 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

3D point cloud is an efficient and flexible representation of 3D structures. Recently, neural networks operating on point clouds have shown superior performance on 3D understanding tasks such as shape classification and part segmentation. However, performance on such tasks is evaluated on complete shapes aligned in a canonical frame, while real world 3D data are partial and unaligned. A key challenge in learning from partial, unaligned point cloud data is to learn features that are invariant or equivariant with respect to geometric transformations. To address this challenge, we propose the Iterative Transformer Network (IT-Net), a network module that canonicalizes the pose of a partial object with a series of 3D rigid transformations predicted in an iterative fashion. We demonstrate the efficacy of IT-Net as an anytime pose estimator from partial point clouds without using complete object models. Further, we show that IT-Net achieves superior performance over alternative 3D transformer networks on various tasks, such as partial shape classification and object part segmentation.

연구 동기 및 목표

• 실세계 시나리오에서 흔한 부분적이고 정렬되지 않은 3D 포인트 클라우드에서 학습하는 데 도전하는 것.
• 기하학적 불변성 또는 등변성(geometric invariance 또는 equivariance)을 갖는 신경망 모듈을 개발하여 3D 이해 작업을 향상시키는 것.
• 반복적으로 변환 예측을 개선함으로써 언제라도 예측을 제공할 수 있는 자세 추정 시스템을 설계하는 것.
• 부분적이고 정렬되지 않은 입력에서 T-Net과 같은 기존 트랜스포머 기반 방법보다 형태 분류 및 부분 분할 성능을 뛰어나게 하는 것.
• 3D 학습 작업을 위한 새로운 합성 및 실세계 부분적이고 정렬되지 않은 포인트 클라우드 벤치마크 데이터셋을 제공하는 것.

제안 방법

• IT-Net는 입력 포인트 클라우드를 표준 자세로 점차적으로 정렬하는 작은 강체 변환(회전 및 이동)의 시퀀스를 예측하는 반복적 개선 기법을 사용한다.
• 각 반복 단계에서 트랜스포머 기반 모듈이 예측한 3D 강체 변환이 적용되며, 이로 인해 척도나 비틀림이 도입되지 않아 물체의 형태가 유지된다.
• 네트워크는 분류 또는 분할 헤드와 함께 엔드 투 엔드로 훈련되며, 변환 출력에 대해 명시적인 지도 학습이 필요하지 않다.
• 반복적 설계 덕분에 anytime 예측이 가능하다: 계산 자원이 제한된 경우 추론을 조기에 중단해도 점차적으로 향상된 자세 예측을 얻을 수 있다.
• 기존 아키텍처인 PointNet과 DGCNN와의 통합을 통해 플러그인 모듈로 구현되어 기하학적 변형에 대한 강건성을 향상시킨다.
• 가상 스캔을 통해 CAD 모델(ModelNet, ShapeNet)과 실제 스캔(ScanNet)에서 유래한 새로운 데이터셋을 구축하였으며, 임의의 회전, 이동 및 현실적인 자기 음영을 포함한다.

실험 결과

연구 질문

• RQ1 강체 변환의 반복적 개선이 부분적이고 정렬되지 않은 입력에서 3D 포인트 클라우드 이해에 도움이 되는가?
• RQ2 강체 변환(비강체 변환 대비)을 강제로 적용할 경우 분류 및 분할과 같은 후행 작업에서 성능과 안정성이 향상되는가?
• RQ3 IT-Net이 시간 제약 조건 하에서 점차적으로 향상되는 예측을 제공할 수 있는 anytime 자세 추정기로 활용될 수 있는가?
• RQ4 실세계 및 합성 부분적 포인트 클라우드에서 IT-Net은 T-Net과 다른 트랜스포머 기반 방법보다 강건성과 정확도 면에서 뛰어나게 성능을 내는가?
• RQ5 IT-Net이 기존의 분류 및 분할 네트워크에 통합되었을 때 성능 향상 정도는 어느 정도인가?

주요 결과

• IT-Net가 두 번의 반복을 수행할 경우, ShapeNet Part 데이터셋에서 부분 분할 작업의 평균 mIoU가 80.4%를 기록하여 T-Net(74.6%)와 IT-Net-1(77.9%)을 능가한다.
• 형태 분류 작업에서 IT-Net-2는 ShapeNet 데이터셋에서 79.1%의 정확도를 달성하여 T-Net(77.1%)과 IT-Net-1(78.2%)을 초월한다.
• IT-Net의 성능 향상은 훈련 샘플 수가 적은 희귀 카테고리에서 가장 두드러지며, 데이터 부족 조건에서의 일반화 능력 향상을 시사한다.
• T-Net는 반복적 개선을 훈련할 경우 반복 간 척도 불일치로 인해 수렴하지 못하지만, IT-Net는 안정적인 훈련과 성능 유지를 유지한다.
• 정성적 결과에서는 IT-Net이 다양한 카테고리와 자세에서 입력을 성공적으로 정렬하여 분포 이탈을 줄이고 특징 학습을 향상시킨다.
• IT-Net의 반복적 구조 덕분에 anytime 예측이 가능하다: 최종 수렴 전에도 중간 출력이 유의미한 자세 예측을 제공하여 실시간 응용에 유용하다.