[논문 리뷰] Object Finding in Cluttered Scenes Using Interactive Perception

Tonči Novković, Rémi Pautrat외 4명|arXiv (Cornell University)|2019. 11. 18.

Reinforcement Learning in Robotics참고 문헌 29인용 수 6

한 줄 요약

이 논문은 RGB-D 센싱을 갖춘 로봇 매니퓰레이터를 사용하여 혼잡한 장면에서 물체를 찾는 데에 강화학습(RL) 기반의 능동적이고 상호작용적인 인식 시스템을 제안한다. 압축된 절삭된 부호거리장(TSDF) 표현과 엔드 투 엔드 RL 정책 학습을 활용하여, 시뮬레이션에서는 88% 이상의 성공률을 달성하고 실제 실험에서는 100%의 성공률을 기록하며, 미세조정 없이도 새로운 물체 형태와 크기로의 일반화가 효과적으로 이루어진다.

ABSTRACT

Object finding in clutter is a skill that requires perception of the environment and in many cases physical interaction. In robotics, interactive perception defines a set of algorithms that leverage actions to improve the perception of the environment, and vice versa use perception to guide the next action. Scene interactions are difficult to model, therefore, most of the current systems use predefined heuristics. This limits their ability to efficiently search for the target object in a complex environment. In order to remove heuristics and the need for explicit models of the interactions, in this work we propose a reinforcement learning based active and interactive perception system for scene exploration and object search. We evaluate our work both in simulated and in real-world experiments using a robotic manipulator equipped with an RGB and a depth camera, and compare our system to two baselines. The results indicate that our approach, trained in simulation only, transfers smoothly to reality and can solve the object finding task efficiently and with more than 88% success rate.

연구 동기 및 목표

• 혼잡한 환경에서 능동적이고 상호작용적인 인식을 결합한 강력한 엔드 투 엔드 RL 기반의 물체 탐색 방법을 개발한다.
• 로봇 시场景 탐색에서 수작업으로 설계된 히وري스틱과 사전 정의된 상호작용 정책에 의존하지 않도록 한다.
• 실제 데이터 미세조정 없이도 시뮬레이션에서 실제 로봇 시스템으로의 제로샷 전이를 가능하게 한다.
• 훈련 중에 볼 수 없었던 다양한 물체 형태와 크기의 혼잡한 장면에서도 일반화할 수 있도록 한다.
• 압축된 부피적 장면 표현을 사용하여 효율적인 탐색 및 종료 정책을 학습한다.

제안 방법

• 3D 장면 상태를 압축되고 학습 가능한 표현으로 코딩하기 위해 이산화된 절삭된 부호거리장(TSDF)을 사용한다.
• 경험 재생을 활용한 딥 Q넷(DQN)을 사용하여 현재 장면 상태에 기반한 동작을 선택하는 RL 정책을 훈련한다.
• 목표 물체를 색상에 기반해 식별하는 학습된 색상 검출기를 통합하며, 목표 물체가 색상 기반임을 가정한다.
• 목표 물체가 가려진 경우를 드러내기 위해 카메라 운동(시점 변경)과 물리적 상호작용(물건 밀기)을 포함한 동작 공간을 설계한다.
• 목표 탐지 및 탐색 진행 상황에 기반한 희박한 밀도 보상만을 사용하여 시뮬레이션에서만 에이전트를 훈련한다.
• 실제 세계의 미세조정 없이도 시뮬레이션에서 실제 세계로의 전이를 향상시키기 위해 도메인 랜덤라이제이션과 작업별 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 RL 정책가 히وري스틱 없이 혼잡한 3D 장면을 효율적으로 탐색하고 상호작용하여 목표 물체를 찾는 데 성공할 수 있는가?
• RQ2 시뮬레이션에서 훈련된 정책이 실제 로봇 시스템에서 상호작용 물체 탐색에 얼마나 잘 일반화되는가?
• RQ3 훈련 중에 볼 수 없었던 새로운 물체 형태와 크기로의 일반화 정도는 어느 정도인가?
• RQ4 제안된 RL 기반 접근법이 GES 및 GNBV와 같은 히وري스틱 기반 베이스라인에 비해 효율성과 성공률 면에서 어떻게 비교되는가?
• RQ5 국소적 장면 정보가 제한된 상황에서도 목표 물체가 존재하지 않을 경우 올바른 에피소드 종료를 학습할 수 있는가?

주요 결과

• 제안된 A3DE 및 I3DE RL 에이전트는 시뮬레이션된 혼잡한 장면에서 88% 이상의 성공률를 기록했으며, GNBV 및 GES 베이스라인보다 효율성과 성공률 면에서 뛰어나다.
• I3DE 에이전트는 실제 실험에서 로봇 매니퓰레이터에서 100%의 성공률를 기록했으며, 실제 데이터의 미세조정 없이도 강력한 시뮬레이션에서 실제 세계로의 전이 성능을 입증했다.
• 변동하는 크기의 기하형태, 랜덤 형태, 실제 물체 모델 등 새로운 물체 유형으로의 일반화가 효과적으로 이루어졌으며, 성능 저하가 최소한이었다.
• 특히 복잡한 장면에서 GES 베이스라인에 비해 I3DE 에이전트는 훨씬 적은 단계를 소모하여 탐색 효율성이 향상됨을 보였다.
• 목표 물체가 존재하지 않을 경우 96.1%의 시험에서 올바른 에피소드 종료를 학습했으며, 효과적인 탐색 완료 탐지 기능을 갖추었다.
• GES 베이스라인은 훈련 도메인에서는 매우 효과적이었지만, 물체의 크기가 변할 경우 일반화에 실패하여 히وري스틱 기반 방법의 한계를 드러냈다.