[논문 리뷰] Segmentation and Recovery of Superquadric Models using Convolutional Neural Networks

Jaka Šircelj, Tim Oblak외 6명|arXiv (Cornell University)|2020. 01. 28.

Advanced Vision and Imaging인용 수 6

한 줄 요약

이 논문은 3D 깊이 영상에서 비회전 초구형 모델을 세분화하고 복원하기 위한 이단계 CNN 기반 방법을 제안한다. 첫 번째 단계에서 Mask-RCNN이 초구형 유사 구조의 인스턴스 세분화를 수행하고, 두 번째 단계에서 전용 CNN 회귀모형이 부분적이고 가능성이 가려진 데이터로부터 초구형 매개변수를 추정한다. 이 방법은 반복적 방법 대비 100배 빠른 속도를 기록하며 최신 기술 수준의 복원 품질을 달성하여 실시간 적용이 가능하다.

ABSTRACT

In this paper we address the problem of representing 3D visual data with parameterized volumetric shape primitives. Specifically, we present a (two-stage) approach built around convolutional neural networks (CNNs) capable of segmenting complex depth scenes into the simpler geometric structures that can be represented with superquadric models. In the first stage, our approach uses a Mask RCNN model to identify superquadric-like structures in depth scenes and then fits superquadric models to the segmented structures using a specially designed CNN regressor. Using our approach we are able to describe complex structures with a small number of interpretable parameters. We evaluated the proposed approach on synthetic as well as real-world depth data and show that our solution does not only result in competitive performance in comparison to the state-of-the-art, but is able to decompose scenes into a number of superquadric models at a fraction of the time required by competing approaches. We make all data and models used in the paper available from https://lmi.fe.uni-lj.si/en/research/resources/sq-seg.

연구 동기 및 목표

• 복잡한 3D 깊이 영상의 효율적 표현을 해석 가능하고 매개변수화된 초구형 기반 원소를 사용하여 해결하고자 한다.
• 다수의 물체가 포함된 영상에서 초구형 복원의 계산 부담을 줄이고자 하며, 이는 일반적으로 반복적 방법으로는 처리가 곤란한 문제이다.
• 단일이고 종단 간(end-to-end) 파ip라인을 통해 인스턴스 세분화와 매개변수 추정을 통합한 딥 러닝 솔루션을 개발하고자 한다.
• 실생활 영상에서 흔히 발생하는 불완전하거나 부분적으로 가려진 깊이 데이터로부터도 강건한 초구형 복원을 가능하게 하고자 한다.
• 로봇 공학, 자율 주행 시스템, 3D 시cene 이해 분야에서 최신 기술 수준의 반복적 초구형 피팅 기법에 대한 신속하고 확장 가능한 대안을 제공하고자 한다.

제안 방법

• 이중 단계 파이프라인을 사용한다: 첫 번째 단계에서 Mask-RCNN이 깊이 영상 내 초구형 유사 구조의 인스턴스 세분화를 수행한다.
• 세분화된 영역을 전용 CNN 회귀모형의 입력으로 사용하며, 이 모형은 부분적 깊이 데이터로부터 10개의 초구형 매개변수(위치, 크기, 형태 계수)를 예측하도록 훈련된다.
• 부분적 또는 노이즈가 있는 입력에 대한 강건성을 향상시키기 위해, 통제된 가림을 포함한 합성 데이터로 CNN 회귀모형을 훈련한다.
• 모델은 비회전 초구형을 가정하여 매개변수 공간을 단순화하고 더 빠른 추론을 가능하게 한다.
• CNN의 인덕티브 바이어스를 활용해 공간적 특징 학습을 가능하게 하여 다양한 깊이 영상에 일반화할 수 있도록 한다.
• 전체 파이프라인이 합성 데이터와 실제 세계의 깊이 데이터(실물 물체의 스캔된 범위 영상 포함)에서 동시에 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 Mask-RCNN 기반의 인스턴스 세분화 모델은 부분적으로 가려진 경우에도 깊이 영상 내 초구형 유사 구조를 효과적으로 식별할 수 있는가?
• RQ2 CNN 회귀모형은 불완전한 깊이 데이터로부터 초구형 매개변수를 반복적 방법과 유사한 성능으로 정확하게 추정할 수 있는가?
• RQ3 제안된 이중 단계 CNN 파이프라인이 기존의 반복적 초구형 피팅 접근법보다 유의미하게 더 빠른 처리 시간을 제공하는가?
• RQ4 한 장의 영상에 포함된 초구형 수가 증가할수록 성능이 어떻게 저하되는가?
• RQ5 노이즈와 복잡한 기하학적 구조를 포함한 스캔된 범위 영상이 포함된 실제 세계의 깊이 데이터에 대해 이 방법은 어느 정도 일반화되는가?

주요 결과

• 제안된 방법은 모든 테스트 이미지에서 픽셀 단위 복원 오차에 대해 평균 절대 오차(MAE)가 2.79를 기록하였으며, 이는 [12, 10]에서 보고한 최신 기술 수준의 방법(1.78 MAE)과 유사한 성능이다.
• 약간 높은 복원 오차에도 불구하고, 반복적 최신 기술 수준의 접근법 대비 100배 더 빠른 속도를 기록하여 GPU에서 한 장의 이미지를 0.11초 만에 처리한다.
• 단일 스레드 CPU 환경에서도 이미지당 약 5초 내외로 실행되며, 반복적 방법의 10초 수준의 수렴 시간에 비해 유의미하게 뛰어난 성능을 보인다.
• 매개변수 예측의 오차 분포는 대부분 평균 근처에 집중되어 있으며, 위치 매개변수의 분산이 낮아 국소화 정확도가 높다는 것을 시사한다.
• 초구형 수가 증가함에 따라 오차 분포가 긴 꼬리 형태를 띠며, 주로 겹치거나 가까이 붙어 있는 물체에서의 세분화 오류로 인해 발생한다.
• Mask-RCNN가 예측한 마스크의 IoU 분포는 객체 수가 증가함에 따라 점점 더 편향되며, 이는 영상 복잡도 증가에 따라 세분화 성능이 저하됨을 확인한다.