[논문 리뷰] Semantic Mapping with Simultaneous Object Detection and Localization

Zhen Zeng, Yunwen Zhou외 2명|arXiv (Cornell University)|2018. 10. 26.

Robotics and Sensor-Based Localization인용 수 5

한 줄 요약

이 논문은 조건부 무작위 필드(CRF)를 사용하여 맥락적 객체 관계와 시간적 자세 일관성을 모델링하는 필터링 기반 방법인 맥락적 시간 맵핑(CT-Map)을 제안한다. CT-Map은 입자 필터링을 활용해 객체 클래스와 자세에 대한 강건한 생성적 추론을 수행함으로써, 검출 정확도에서 Faster R-CNN보다 우수하고, 자세 추정에서 ICP/FPFH보다 뛰어나다.

ABSTRACT

We present a filtering-based method for semantic mapping to simultaneously detect objects and localize their 6 degree-of-freedom pose. For our method, called Contextual Temporal Mapping (or CT-Map), we represent the semantic map as a belief over object classes and poses across an observed scene. Inference for the semantic mapping problem is then modeled in the form of a Conditional Random Field (CRF). CT-Map is a CRF that considers two forms of relationship potentials to account for contextual relations between objects and temporal consistency of object poses, as well as a measurement potential on observations. A particle filtering algorithm is then proposed to perform inference in the CT-Map model. We demonstrate the efficacy of the CT-Map method with a Michigan Progress Fetch robot equipped with a RGB-D sensor. Our results demonstrate that the particle filtering based inference of CT-Map provides improved object detection and pose estimation with respect to baseline methods that treat observations as independent samples of a scene.

연구 동기 및 목표

• 로봇이 스트리밍 RGB-D 관측치로부터 객체 클래스와 6-DOF 자세를 동시에 추론할 수 있는 의미 맵을 구축할 수 있도록 하는 것.
• 객체 간 맥락적 관계와 자세의 시간적 일관성을 모델링하여 노이즈가 많은 객체 검출기 출력에 대한 강건성을 향상시키는 것.
• 관측치를 독립적으로 처리하는 데서 비롯하는 한계를 극복하기 위해 확률적 종속성과 함께 생성적 추론을 통합하는 것.
• 객체 상태에 대한 신뢰도 추정을 통해 혼잡하거나 가림이 있거나 외관이 변화한 환경에서도 정확한 의미 맵핑을 달성하는 것.
• 실제 로봇 배치에서 맥락적 및 시간적 사전 지식이 검출 및 국지화 성능을 크게 향상시킨다는 것을 입증하는 것.

제안 방법

• CT-Map는 조건부 무작위 필드(CRF)를 사용하여 객체 클래스와 6-DOF 자세에 대한 신뢰도 추정 문제로 의미 맵핑을 모델링한다.
• CRF는 세 가지 유형의 에너지 함수를 포함한다: 관측치에 대한 측정 에너지 함수, 객체 간 맥락적 관계 에너지 함수, 자세 시퀀스에 대한 시간적 일관성 에너지 함수.
• 맥락적 에너지 함수는 객체 카테고리 간 공존 가능성(예: 식품 항목)과 물리적 타당성(예: 교차하거나 떠 있는 객체 없음)을 강제한다.
• 시간적 일관성 에너지 함수는 객체 영속성을 모델링하여 시간에 걸쳐 일관된 자세를 선호하며, 특히 가림 동안 유용하다.
• 입자 필터링 알고리즘이 CT-Map 모델에서 근사 추론을 수행하며, 관측치에 대해 객체 자세 가설을 반복적으로 샘플링하고 평가한다.
• 객체 검출 및 국지를 생성적 추론을 통해 함께 최적화함으로써 검출기 출력에 대한 딱딱한 결정을 피한다.

실험 결과

연구 질문

• RQ1 검출을 독립적인 샘플로 취급하는 것과 비교해, 객체 클래스와 6-DOF 자세에 대한 동시 추론이 검출 정확도를 향상시키는가?
• RQ2 공존 가능성과 물리적 타당성과 같은 맥락적 객체 관계는 의미 맵핑의 강건성을 어떻게 향상시키는가?
• RQ3 객체 자세의 시간적 일관성을 모델링할 경우, 가림이나 외관 변화 상황에서 국지화 성능은 어느 정도 향상되는가?
• RQ4 생성적, 신뢰도 기반 접근 방식이 ICP 및 FPFH와 같은 분류 기반 방법보다 6-DOF 자세 추정에서 더 우수한 성능을 내는가?
• RQ5 맥락적 및 시간적 사전 지식의 통합은 혼잡한 실세계 환경에서 성능에 어떤 영향을 미치는가?

주요 결과

• CT-Map은 특히 샴푸 병을 우유로 잘못 분류하는 등의 오분류를 수정함으로써 Faster R-CNN보다 객체 검출 정확도에서 뚜렷한 우위를 보였다.
• 이전 관측치에서 유도된 시간적 일관성을 활용하여 테이블보에 가려진 테이블과 같은 객체를 성공적으로 검출하였다.
• CT-Map은 ICP 및 FPFH보다 6-DOF 자세 추정에서 뛰어난 정확도를 달성했으며, 위치 및 회전 오차 기준으로 큰 격차를 보였다.
• 맥락적 관계를 통합함으로써 CT-Map은 의미적으로 타당하지 않은 경우 '로파'를 ' bowel'으로 수정하는 식으로 클래스 레이블을 보정할 수 있었다.
• 입자 필터링 기반 추론은 국소 최솟값에 대한 민감도를 감소시켜 분류 기반 레지istration 방법보다 더 강건한 자세 추정을 가능하게 하였다.
• 부분적 또는 완전한 가림 동안에도 객체 영속성을 일반화하여 신뢰도를 유지함으로써 장기적인 맵핑 신뢰도를 향상시켰다.