[논문 리뷰] Visual search and recognition for robot task execution and monitoring

Lorenzo Mauro, Francesco Puja외 5명|arXiv (Cornell University)|2019. 02. 07.

Reinforcement Learning in Robotics참고 문헌 39인용 수 6

한 줄 요약

이 논문은 깊이 강화 학습과 고전적 계획법을 통합하여 시각 기반 실행 모니터링 프레임워크를 제안한다. 이는 로봇이 실생활 환경에서 작업과 관련된 물체를 자율적으로 탐색하고 인식하며, 고장을 복구하고 작업을 완료할 수 있도록 한다. 시스템은 수정된 DQN을 통해 학습된 시각적 탐색 정책과 Faster R-CNN를 이용한 물체 검출을 사용하여, 평균 19단계 내에 88.47%의 성공률을 달성한다.

ABSTRACT

Visual search of relevant targets in the environment is a crucial robot skill. We propose a preliminary framework for the execution monitor of a robot task, taking care of the robot attitude to visually searching the environment for targets involved in the task. Visual search is also relevant to recover from a failure. The framework exploits deep reinforcement learning to acquire a "common sense" scene structure and it takes advantage of a deep convolutional network to detect objects and relevant relations holding between them. The framework builds on these methods to introduce a vision-based execution monitoring, which uses classical planning as a backbone for task execution. Experiments show that with the proposed vision-based execution monitor the robot can complete simple tasks and can recover from failures in autonomy.

연구 동기 및 목표

• 기존의 3차원 지도가 로봇의 시선과 작업의 관련성과 일치하지 않는 로봇 작업 실행의 격차를 보완하기 위해.
• 효율적 인식을 위해 작업과 관련된 물체와 관계만을 포함하는 단순한 정신 지ap 기반 표현 방식을 개발하기 위해.
• 깊이 강화 학습에 의해 이끌리는 시각 기반 시각적 탐색을 통해 자율적인 고장 복구를 가능하게 하기 위해.
• 고전적 계획법과 실시간 시각 인식을 통합하여 강력한 작업 실행 모니터링을 구현하기 위해.
• 전체 3차원 환경 재구성에 의존하는 것을 줄이고, 주목적 기반, 목표 지향적 시각적 탐색에 초점을 맞추기 위해.

제안 방법

• 프레임워크는 가상 환경에서 훈련된 수정된 딥 Q-네트워크(DQN)를 사용하여 RGB 입력에서 눈동자 방향의 시각적 탐색 정책을 학습한다.
• 물체 검출 및 관계 인식은 장면 특징을 상태 표현을 위해 추출하기 위해 Faster R-CNN를 사용한다.
• 정신 지도는 탐지된 물체와 그들의 공간적 관계를 담은 동적이고 작업에 특화된 스냅샷으로 구성되며, 메모리 오버헤드를 최소화한다.
• 실행 모니터는 계획과 인식을 조율하며, 후행 조건을 검증하고 고장 감지 시 시각적 탐색을 트리거한다.
• 시스템은 반복 구조로 작동한다: 계획기가 행동을 제안하고, 인식 모듈이 조건을 검증하며, 고장을 감지하면 시각적 탐색이 주의를 재정렬한다.
• 훈련은 시뮬레이션에서 먼저 수행되며, 일반화 능력을 향상시키기 위해 실제 환경에서 미세조정할 계획이다.

실험 결과

연구 질문

• RQ1 로봇이 환경의 전체 3차원 재구성을 유지하지 않고도 작업과 관련된 물체를 효율적으로 탐색할 수 있는 방법은 무엇인가?
• RQ2 깊이 강화 학습 정책이 로봇 작업 수행과 고장 복구를 위한 효과적인 시각적 탐색 전략을 얼마나 잘 학습할 수 있는가?
• RQ3 탐지된 물체와 관계만 포함하는 정신 지도 표현 방식이 신뢰할 수 있는 작업 수행과 모니터링을 지원할 수 있는가?
• RQ4 고전적 계획법과 시각 기반 인식의 통합이 작업의 강건성과 고장 복구 능력을 어떻게 향상시키는가?
• RQ5 학습된 시각적 탐색 정책이 실제 세계의 작업 수행에서 무작위 탐색보다 어떤 성능 향상을 이룰 수 있는가?

주요 결과

• 훈련된 시각적 탐색 정책은 평균 19단계 내에 목표 물체를 찾는 데 88.47%의 성공률를 달성했으며, 무작위 탐색의 경우 단지 2.97%에 그쳤다.
• 시각적 탐색 정책은 주변 영역을 스캔하기 전에 목표 물체의 예상 높이를 먼저 봐야 한다는 전략을 학습하여 효과적인 탐색 전략 학습을 보였다.
• 위치 설정 및 조작 동작의 복구 성공률는 그립 동작보다 높았으며, 그립 동작은 높은 실패 확률으로 인해 여전히 가장 도전적인 작업이었다.
• 물체 검출 실패가 시각적 탐색 실패의 주요 원인이었으며, 이는 실제 환경 배포에서 강력한 인식 능력이 필요함을 시사한다.
• 시스템은 각 작업 유형(물체 수거 및 정리)에 대해 35회의 실행을 성공적으로 완료하여 실제 환경에서의 자율성과 성능을 입증했다.
• 고장 확률 히스토GRAM은 복잡한 동작(예: 그립, 위치 설정)이 더 높은 고장률을 보였으며, 인간의 적응 능력 덕분에 간단한 동작(예: 전달)은 낮은 고장률을 보였다.