[논문 리뷰] Inferring Occluded Geometry Improves Performance when Retrieving an Object from Dense Clutter

Andrew Price, Linyi Jin외 1명|arXiv (Cornell University)|2019. 07. 20.

Robotics and Sensor-Based Localization인용 수 7

한 줄 요약

이 논문은 깊이 학습 기반의 형태 보완 네트워크와 부피 메모리 시스템을 조작 계획 프레임워크에 통합하여, 농도 높은 혼잡한 환경에서 가림을 입은 물체의 기하학적 구조를 추론한다. 숨겨진 물체의 형태와 이전에 관측된 자유 공간을 고려함으로써, 목표 물체를 회수하기 위해 필요한 동작 수를 줄이며, CAD 모델이나 레이블이 없는 데이터에 의존하지 않고 통계적으로 유의미한 성능 향상을 달성한다 — 특히 매우 가림이 심한 장면에서 두드러진다.

ABSTRACT

Object search -- the problem of finding a target object in a cluttered scene -- is essential to solve for many robotics applications in warehouse and household environments. However, cluttered environments entail that objects often occlude one another, making it difficult to segment objects and infer their shapes and properties. Instead of relying on the availability of CAD or other explicit models of scene objects, we augment a manipulation planner for cluttered environments with a state-of-the-art deep neural network for shape completion as well as a volumetric memory system, allowing the robot to reason about what may be contained in occluded areas. We test the system in a variety of tabletop manipulation scenes composed of household items, highlighting its applicability to realistic domains. Our results suggest that incorporating both components into a manipulation planning framework significantly reduces the number of actions needed to find a hidden object in dense clutter.

연구 동기 및 목표

• 물체가 가려져 있고 전통적인 방법이 가시성 부족으로 실패하는 농도 높은 혼잡한 환경에서의 물체 회수 문제를 해결하기 위해.
• 가정과 같은 비정형 환경에서는 현실적으로 적용이 어려운 CAD 모델이나 레이블이 있는 이미지에 의존하는 기존 물체 검색 시스템의 한계를 극복하기 위해.
• 형태 보완을 통해 가려진 기하학적 구조를 추론하고, 자유 공간 및 가려진 형태의 기억을 유지함으로써 조작 계획의 효율성을 향상시킬 수 있는지 조사하기 위해.
• 숨겨진 물체 기하학적 구조와 이전 관측 결과를 고려하여 행동 선택을 개선하는 프레임워크를 개발하고 평가하기 위해.

제안 방법

• 시스템은 알려진된 자유 공간 부피를 활용하여 부분적으로 관측된 장면에서 재구성 정확도를 향상시키기 위해 깊이 신경망을 사용한다.
• 부피 메모리 시스템은 이전에 관측된 물체 형태와 자유 공간을 저장하고 추적하여, 시간이 지남에 따라 가려진 영역을 고려할 수 있도록 한다.
• 조작 계획자는 RGBD 이미지의 부피 분할을 기반으로 동작하고, 운동 프리미티브를 사용하여 행동을 선택하고 실행한다.
• 형태 보완은 부분적으로만 보이는 물체의 전체 기하학적 구조를 추론하여 행동 선택의 모호함을 줄인다.
• 프레임워크는 형태 보완과 메모리를 계획 루프 내의 구성 요소로 통합하여, 가려진 기하학적 구조에 기반해 행동 우선순위를 정할 수 있도록 한다.
• 시스템은 다양한 혼잡도 수준을 가진 8개의 테이블톱 시나리오에서 182회의 실험을 통해 양손 로봇 설정에서 평가되었다.

실험 결과

연구 질문

• RQ1 형태 보완을 조작 계획 프레임워크에 통합함으로써, 농도 높은 혼잡한 환경에서 목표 물체를 회수하기 위해 필요한 동작 수가 줄어드는가?
• RQ2 이전에 관측된 자유 공간과 가려진 물체 기하학적 구조를 추적하는 메모리 시스템이 물체 검색 작업의 성능을 향상시킬 수 있는가?
• RQ3 실제 혼잡한 환경에 적용했을 때, 가려진 장면에서의 형태 보완 성능이 이전 방법과 비교해 어떻게 되는가?
• RQ4 형태 보완과 메모리의 조합이 다양한 혼잡한 시나리오에서 행동 효율성에 통계적으로 유의미한 향상을 가져오는가?

주요 결과

• D1-D3와 같은 농도 높은 혼잡한 장면에서, 형태 보완과 메모리 모두를 포함한 전체 프레임워크는 평균 동작 수를 5.364에서 3.300으로 줄였으며, t-통계량은 2.6이고 p-값은 0.012로 강한 통계적 유의성을 보였다.
• 목표 물체가 큰 가림 상자들 뒤에 작은 실린더에 의해 가려진 장면 B에서는, 개선된 시스템이 약 절반의 시도에서 먼저 움직일 물체로 실린더를 올바르게 선택하여 두 번의 동작 내에 최적의 회수를 달성했다.
• 메모리 시스템만으로도 성능 향상이 뚜렷했으며, 장면 A에서 기준 평균 4.000에서 2.455로 동작 수가 감소했고, t-통계량은 5.8이며 p-값은 0.00002였다.
• 형태 보완만으로도 기준 대비 장면 B에서 개선이 있었으며(평균 동작 수: 3.300 vs. 5.400), p-값 0.056는 약간 유의미한 수준이었지만, 중간 정도의 효과를 시사했다.
• 전체 프레임워크는 희박한 혼잡(예: C1과 C3)에서는 강력한 개선을 보였지만, C2에서는 약간의 성능 저하를 보였으며, 이는 성능 향상이 맥락에 따라 달라지며 특히 고가림 장면에서 가장 두드러진다는 것을 시사한다.
• 전체 프레임워크의 계산 시간은 행동 선택(7.32초)과 실행(34.98초)에 의해 주로 차지했으며, 형태 보완은 오직 1.67초만 추가하여 핵심 구성 요소에 대한 오버헤드가 낮음을 보였다.