[논문 리뷰] ClusterNet: Instance Segmentation in RGB-D Images

Lin Shao, Ye Tian외 1명|arXiv (Cornell University)|2018. 07. 24.

Advanced Neural Network Applications참고 문헌 18인용 수 13

한 줄 요약

ClusterNet는 물체의 점유 함수의 일阶 및 이阶 모멘트를 사용하여 RGB-D 이미지에서 개체 인스턴스를 표현하는 인스턴스 세그멘테이션 방법을 제안한다. 이는 3D 물체 중심, 크기, 자세를 예측하는 시계열 구조의 딥 네트워크를 활용하며, 최종적으로 모멘트 공간에서의 클러스터링을 통해 세그멘테이션을 달성한다. 이는 합성 데이터셋에서 최신 기술 수준의 성능을 달성하고 실제 데이터에 대해서도 뛰어난 일반화 성능을 보인다.

ABSTRACT

We propose a method for instance-level segmentation that uses RGB-D data as input and provides detailed information about the location, geometry and number of individual objects in the scene. This level of understanding is fundamental for autonomous robots. It enables safe and robust decision-making under the large uncertainty of the real-world. In our model, we propose to use the first and second order moments of the object occupancy function to represent an object instance. We train an hourglass Deep Neural Network (DNN) where each pixel in the output votes for the 3D position of the corresponding object center and for the object's size and pose. The final instance segmentation is achieved through clustering in the space of moments. The object-centric training loss is defined on the output of the clustering. Our method outperforms the state-of-the-art instance segmentation method on our synthesized dataset. We show that our method generalizes well on real-world data achieving visually better segmentation results.

연구 동기 및 목표

• 자율 로봇 응용을 위한 RGB-D 환경에서 정밀한 인스턴스 수준의 세그멘테이션을 가능하게 하기 위해.
• 개선된 3D 위치 추정 및 형태 추정을 위해 물체 인스턴스를 점유 함수의 기하 모멘트(일阶 및 이阶)로 모델링하기 위해.
• 클러스터링된 출력에 대해 작용하는 미분 가능하고 물체 중심의 훈련 손실을 개발하여 세그멘테이션 정확도를 향상시키기 위해.
• 합성 데이터에서 실제 세계 RGB-D 데이터로의 강력한 일반화를 달성하기 위해.
• 불확실한 환경에서 의사결정을 위한 물체 위치, 기하학적 특성 및 자세에 대한 세부적인 개별 정보를 제공하기 위해.

제안 방법

• 이 방법은 각 물체 인스턴스를 3D 점유 함수의 일阶 및 이阶 모멘트를 사용하여 표현하며, 중심, 크기, 방향성을 인코딩한다.
• 시계열 구조의 딥 네트워크가 픽셀 단위로 3D 공간 내 물체 중심과 기하학적 파라미터에 대한 투표를 예측한다.
• 인스턴스 세그멘테이션은 예측된 모멘트 벡터를 기반으로 모멘트 공간에서 픽셀을 클러스터링하여 수행된다.
• 훈련 손실은 최종 클러스터링 출력에 정의되어 있어 세그멘테이션 작업의 엔드 투 엔드 최적화를 가능하게 한다.
• 모델은 합성 물체 배치와 실제 세계의 배경 환경을 포함한 합성 RGB-D 데이터셋으로 훈련된다.
• 이 방법은 RGB와 깊이 정보를 모두 활용하여 3D 인스턴스 위치 추정 및 형태 추정을 향상시킨다.

실험 결과

연구 질문

• RQ1 물체 인스턴스의 모멘트 기반 표현이 RGB-D 데이터에서 3D 인스턴스 세그멘테이션 성능을 향상시키는가?
• RQ2 모멘트 공간에서의 클러스터링이 직접 픽셀 단위 예측보다 더 정확하고 강력한 인스턴스 세그멘테이션을 이끌어내는가?
• RQ3 합성 RGB-D 데이터로 훈련된 모델이 실제 세계 환경에 효과적으로 일반화되는가?
• RQ4 물체 중심 훈련 손실이 표준 세그멘테이션 손실과 비교해 세그멘테이션 성능을 어떻게 향상시키는가?
• RQ5 RGB와 깊이 데이터를 모두 사용할 경우 세그멘테이션 정확도와 기하학적 세부 정보에 어떤 영향을 미치는가?

주요 결과

• ClusterNet는 합성 RGB-D 데이터셋에서 최신 기술 수준의 인스턴스 세그멘테이션 방법을 초월하며, 인스턴스 위치 추정 및 세그멘테이션 정확도에서 뛰어난 성능을 보였다.
• 이 방법은 실제 세계 RGB-D 데이터로도 잘 일반화되어 기존 기준 방법과 비교해 시각적으로 열등한 결과를 내는 것을 방지했다.
• 모멘트 기반 표현을 사용함으로써 단일 전방 계산을 통해 물체 중심, 크기, 자세를 정밀하게 추정할 수 있었다.
• 클러스터링 기반 후처리 단계는 기하학적 일관성을 기반으로 픽셀을 일관된 물체 인스턴스로 효과적으로 그룹화했다.
• 물체 중심 훈련 손실은 세그멘테이션 품질을 직접 최적화함으로써 더 일관되고 정확한 인스턴스 예측을 이끌어냈다.
• 추가적인 감독 신호나 인스턴스별 임bed딩이 없이도 RGB와 깊이 입력만으로도 고품질의 인스턴스 세그멘테이션을 달성했다.