[논문 리뷰] Multiview Based 3D Scene Understanding On Partial Point Sets

Ye Zhu, Sven Ewan Shepstone외 4명|arXiv (Cornell University)|2018. 11. 30.

Advanced Vision and Imaging참고 문헌 17인용 수 4

한 줄 요약

이 논문은 완전한 및 부분적인 포인트 클라우드에서 3D 시나리오 이해를 위한 딥러닝 모델을 향상시키는 3D 다중시점 표현을 제안한다. 360° 스캔에서 유도된 다중시점 기반의 부분적 포인트 세트를 사용해 훈련 데이터를 보강함으로써, 부분적 세트에서 31.9% 향상되고 완전한 세트에서 4.3% 향상되는 의미적 세그멘테이션 정확도를 달성하며, 3D 파트 세그멘테이션으로의 일반화도 가능하다.

ABSTRACT

Deep learning within the context of point clouds has gained much research interest in recent years mostly due to the promising results that have been achieved on a number of challenging benchmarks, such as 3D shape recognition and scene semantic segmentation. In many realistic settings however, snapshots of the environment are often taken from a single view, which only contains a partial set of the scene due to the field of view restriction of commodity cameras. 3D scene semantic understanding on partial point clouds is considered as a challenging task. In this work, we propose a processing approach for 3D point cloud data based on a multiview representation of the existing 360° point clouds. By fusing the original 360° point clouds and their corresponding 3D multiview representations as input data, a neural network is able to recognize partial point sets while improving the general performance on complete point sets, resulting in an overall increase of 31.9% and 4.3% in segmentation accuracy for partial and complete scene semantic understanding, respectively. This method can also be applied in a wider 3D recognition context such as 3D part segmentation.

연구 동기 및 목표

• 카메라의 시야 제한으로 인해 실생활 응용에서 흔한 부분적 포인트 클라우드에서 3D 시나리오 의미 이해의 과제를 해결한다.
• 기존의 완전한 360° 포인트 클라우드로만 훈련된 딥러닝 모델은 실생활의 부분적 스캔에 일반화하기 어려운 한계를 극복한다.
• 단순히 데이터 증강에 의존하지 않고 부분 관측에 대한 모델의 강건성을 향상시키는 데이터 표현 전략을 개발한다.
• 다중시점 기반의 부분적 포인트 세트가 3D 인식 작업 전반에 걸쳐 일반적인 사전처리 기법으로서 효과적임을 입증한다.

제안 방법

• 다양한 시점에서 360° 포인트 클라우드를 투영하여 실생활 카메라 촬영의 시야 제약 조건을 시뮬레이션하는 다중시점 기반의 부분적 포인트 세트를 생성한다.
• 딥러닝에 적합한 공간적 관계를 유지하기 위해 원본 포인트 클라우드의 3D 기하학적 구조를 유지하며 2D 이미지로 변환하지 않는다.
• 원본 360° 포인트 클라우드와 그로부터 유도된 다중시점 기반의 부분적 세트를 포함한 병합 데이터셋을 사용해 딥 네트워크를 훈련시켜 일반화 능력을 향상시킨다.
• 이론적 프레임워크를 활용해, 전체 시나리오의 핵심 포인트 세트가 부분 시점에서 재구성 가능하다면, 전체 데이터는 다중시점 세트로 대체해도 성능 손실가지 않음을 보여준다.
• 시나리오 의미 세그멘테이션과 3D 파트 세그멘테이션 작업 양쪽에 이 방법을 적용하여, 다양한 작업으로의 일반화 능력을 검증한다.
• 완전한 포인트 클라우드와 부분적 포인트 클라우드 인식 성능 간의 균형을 맞추기 위해 다중시점 부분 세트의 수를 최적화하며, 성능의 상충관계를 규명한다.

실험 결과

연구 질문

• RQ1 360° 포인트 클라우드로 훈련된 딥 네트워크가 시야 제한이 있는 실생활 카메라에서 촬영한 부분적 포인트 세트로도 효과적으로 일반화될 수 있는가?
• RQ2 다중시점 기반의 부분적 포인트 세트를 통합함으로써, 완전한 데이터와 불완전한 데이터 양쪽에서 3D 의미 세그멘테이션 성능이 어느 정도 향상되는가?
• RQ3 학습 샘플 수가 증가하지 않은 상황에서도 제안된 다중시점 표현이 효과적임을 입증할 수 있는가? 즉, 단순한 데이터 증강 기법이 아닌가?
• RQ4 다중시점 표현이 시나리오 수준의 의미 세그멘테이션을 넘어서 세부적인 작업인 3D 파트 세그멘테이션으로도 일반화 가능한가?
• RQ5 다중시점 부분 세트의 수와 모델이 완전한 포인트 클라우드 및 부분적 포인트 클라우드를 모두 인식하는 데 있어 성능 간의 상충관계는 어떠한가?

주요 결과

• 제안된 방법은 기준 모델 대비 부분적 포인트 클라우드 의미 세그멘테이션에서 mIoU를 31.9% 향상시킨다.
• 동시에 완전한 360° 포인트 클라우드에서도 mIoU가 4.3% 향상되어 부분적 및 완전한 데이터 양쪽에 이점이 있음을 보여준다.
• 원본 360° 포인트 클라우드를 훈련에서 완전히 제거하고 각 시나리오당 300개의 다중시점 부분 세트로 대체하더라도, 완전한 데이터에서 비교적 유사한 성능을 달성한다.
• 이 방법은 3D 파트 세그멘테이션으로도 효과적으로 일반화되어, ShapeNet 파트 데이터셋의 16개 객체 카테고리 중 15개에서 일관된 mIoU 향상을 달성한다.
• 성능의 상충관계가 관찰된다: 다중시점 부분 세트의 수를 늘리면 초기에는 완전한 데이터 및 부분적 데이터 양쪽의 인식 성능이 향상되지만, 일정 수를 초과하면 완전한 데이터의 성능이 하락하기 시작한다.
• 이론적 분석을 통해, 전체 시나리오의 핵심 포인트 세트가 부분 시점에서 재구성 가능하다면, 전체 데이터는 다중시점 세트로 대체해도 성능 손실가지 않음을 확인했다.