[논문 리뷰] Contextually Guided Semantic Labeling and Search for 3D Point Clouds

Abhishek Anand, Hema Swetha Koppula외 2명|arXiv (Cornell University)|2011. 11. 22.

Robotics and Sensor-Based Localization참고 문헌 48인용 수 58

한 줄 요약

이 논문은 시각적, 형태적, 기하학적 관계를 통합하여 객체 검출 및 로봇 탐색 성능을 햖थ한 3D 포인트 클라우드를 위한 문맥 기반 지능형 의미 레이블링 및 검색 프레임워크를 제안한다. 제안된 방법은 사무실 환경에서 84.06%, 주거 환경에서 73.38%의 레이블링 정확도를 달성하였으며, 학습된 환경 의미 정보를 바탕으로 한 문맥 인식 주행 전략을 통해 이동형 로봇이 12개의 물체 클래스를 97.56%의 정밀도와 78.43%의 재현율로 탐지할 수 있도록 한다.

ABSTRACT

RGB-D cameras, which give an RGB image to- gether with depths, are becoming increasingly popular for robotic perception. In this paper, we address the task of detecting commonly found objects in the 3D point cloud of indoor scenes obtained from such cameras. Our method uses a graphical model that captures various features and contextual relations, including the local visual appearance and shape cues, object co-occurence relationships and geometric relationships. With a large number of object classes and relations, the model's parsimony becomes important and we address that by using multiple types of edge potentials. We train the model using a maximum-margin learning approach. In our experiments over a total of 52 3D scenes of homes and offices (composed from about 550 views), we get a performance of 84.06% and 73.38% in labeling office and home scenes respectively for 17 object classes each. We also present a method for a robot to search for an object using the learned model and the contextual information available from the current labelings of the scene. We applied this algorithm successfully on a mobile robot for the task of finding 12 object classes in 10 different offices and achieved a precision of 97.56% with 78.43% recall.

연구 동기 및 목표

• 2D 이미지 기반 방법을 초월하여 전체 환경 포인트 클라우드를 활용해 3D 환경 이해를 향상시키는 것.
• 기하학적, 공존, 시각적 관계를 포함한 풍부한 문맥 관계를 구조화된 그래픽 모델 내에서 모델링하여 레이블링 정확도를 향상시키는 것.
• 이동형 로봇이 물체가 존재할 만한 위치를 예측하고 효율적으로 주행할 수 있도록 문맥 기반 탐색 알고리즘을 개발하는 것.
• 잡다한 실내 환경에서 높은 정확도와 강건성을 확보하기 위해 실제 로봇 플랫폼에서 방법을 평가하는 것.

제안 방법

• 구조화된 조건부 랜덤 필드(SCRF)는 시각적 유사도, 공면성, 근접성, 물체 공존성 등의 다양한 종류의 엣지 퍼텐셜을 사용하여 3D 세그먼트 간의 쌍별 관계를 모델링한다.
• 최대 마진 학습을 통해 모든 파라미터를 동시에 최적화하여 학습 손실의 상한선을 최소화함으로써 일반화 성능을 향상시킨다.
• 클리크 퍼텐셜은 특수화되어 있다: 연관성 퍼텐셜은 레이블 유사성을 모델링하고, 비연관성 퍼텐셜은 '위에 있는', '앞에 있는' 등의 기하학적 관계를 코딩한다.
• 효율적인 알고리즘(예: Rother et al., 2007)을 사용한 근사 추론을 통해 1회 환경당 약 50개의 세그먼트를 포함한 대규모 환경에 스케일링한다.
• 로봇 탐색을 위해, 현재의 레이블링 기반으로 3D 물체 가능성 히트맵을 계산하여 문맥적으로 가능성이 높은 위치로의 로봇 이동을 안내한다.
• 로봇은 예측된 고가능성 영역을 중심으로 스캔과 재위치 조정을 반복함으로써 가려진 또는 작은 물체의 탐지 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 시각적, 형태적, 기하학적 문맥을 통합한 구조화된 그래픽 모델이 3D 포인트 클라우드의 의미 레이블링 정확도를 향상시킬 수 있는가?
• RQ2 고차원 레이블 공간에서 물체 공존 및 공간 배치와 같은 문맥 관계를 효율적으로 모델링할 수 있는가?
• RQ3 문맥 인식 물체 탐색이 잡다한 실내 환경에서 물체를 찾기 위해 필요한 로봇 이동 횟수를 줄일 수 있는가?
• RQ4 문맥 기반 주행 전략을 통해 작은 또는 가려진 물체의 탐지 성능은 어느 정도 향상되는가?

주요 결과

• 52개의 사무실 환경에서 84.06%의 레이블링 정확도, 52개의 주거 환경에서 73.38%의 레이블링 정확도를 각각 달성하였으며, 각각 17개의 물체 클래스를 포함한다.
• 로봇 실험 결과, 10개의 사무실 환경에서 12개의 물체 클래스를 탐색할 때 97.56%의 정밀도와 78.43%의 재현율을 확보하였다.
• 가려진 키보드의 경우, 예측 위치와 실제 위치 사이 평균 거리는 17.5 cm였으며, 중간점 예측 기반 기준 32.6 cm보다 유의미하게 향상되었다.
• 문맥 기반 예측을 사용함으로써 키보드 위치 추정의 중앙 오차는 기준 27.2 cm에서 15.9 cm로 감소시켰다.
• 정성적 결과에서는 모니터(테이블 위), 키보드(모니터 앞), 서랍(테이블 아래)와 같은 물체의 가능성이 높은 위치를 정확히 예측하는 것으로 나타났다.
• 부분 관측에 강건함을 입증하기 위해, 초기에는 가려짐 또는 낮은 포인트 밀도로 인해 탐지되지 않았던 물체들도 성공적으로 탐지하였다.