[논문 리뷰] Learning Vision-based Reactive Policies for Obstacle Avoidance

Elie Aljalbout, Chen Ji외 3명|arXiv (Cornell University)|2020. 10. 30.

Robotic Path Planning Algorithms참고 문헌 45인용 수 6

한 줄 요약

이 논문은 라이프트 시각 잠재 모델과 리만 운동 정책(RMPs)을 결합하여 로봇 맨리퓰레이터의 시각 기반 반응형 장애물 회피 정책을 학습하는 통합된 딥 강화 학습 프레임워크를 제안한다. 이 방법은 실세계 상호작용 약 1시간 이내에 안정적이고 성공적인 단일 및 다중 장애물 회피 전략을 학습하면서도 샘플 효율성이 뛰어나며, 닫힌 루프 반응성과 미리 보지 않은 장애물 구성으로의 일반화 능력을 유지한다.

ABSTRACT

In this paper, we address the problem of vision-based obstacle avoidance for robotic manipulators. This topic poses challenges for both perception and motion generation. While most work in the field aims at improving one of those aspects, we provide a unified framework for approaching this problem. The main goal of this framework is to connect perception and motion by identifying the relationship between the visual input and the corresponding motion representation. To this end, we propose a method for learning reactive obstacle avoidance policies. We evaluate our method on goal-reaching tasks for single and multiple obstacles scenarios. We show the ability of the proposed method to efficiently learn stable obstacle avoidance strategies at a high success rate, while maintaining closed-loop responsiveness required for critical applications like human-robot interaction.

연구 동기 및 목표

• 비구조적 환경에서 인식과 운동 계획이 밀접하게 연결된 시각 기반 장애물 회피 문제를 해결하기 위해.
• 모델리스 딥 강화 학습과 수작업으로 만든 RMP 기반 기본 정책을 융합하여 실세계 로봇 학습의 샘플 복잡도를 감소시키고 안전성을 향상시키기 위해.
• 재학습 없이 장애물 수(1, 2, 또는 3개)의 변화에 일반화할 수 있도록 해석 가능한 시각 표현을 학습하기 위해.
• 인식과 운동 생성을 하나의 종단 간 학습 프레임워크로 통합하면서도 관절 제한을 유지하고 불안정성을 방지하기 위해.

제안 방법

• 시각 잠재 모델을 사용해 원시 RGB 이미지를 저차원이고 해석 가능한 표현으로 압축하여 정책 복잡도를 감소시키고 일반화 능력을 향상시킨다.
• 리만 운동 정책(RMPs)을 사용해 기본 정책을 정의하여 해석 가능하고 안전한 운동 정책을 확보하며 관절 제한과 운동학적 제약을 준수한다.
• 잔차 딥 강화 학습 정책을 학습하여 기본 RMP 정책을 보완하며, 장애물 회피를 위한 반응형 성분만을 학습한다.
• 보상 함수는 목표 도달 항과 장애물 회피 항을 조합하며, 충돌 시 부정적 보상과 목표 근접 시 긍정적 보상을 제공한다.
• 운동 생성의 기하학적 일관성과 안정성을 보장하기 위해 리만 다양체에서 종단 간 딥 강화 학습을 사용한다.
• 탐색은 기본 정책에 의해 유도되며, 이는 장애물을 만났을 때도 초기 훈련 단계에서부터 목표 쪽으로 에이전트를 유도하여 샘플 효율성을 높인다.

실험 결과

연구 질문

• RQ1 직접적인 인식 파이프라인에 의존하지 않고 시각 입력을 반응형 운동으로 직접 연결하는 통합 프레임워크가 시각 기반 장애물 회피 정책을 효과적으로 학습할 수 있는가?
• RQ2 학습된 잔차 정책과 수작업으로 만든 RMP 기본 정책을 융합함으로써 실세계 로봇 학습에서 샘플 효율성과 성공률가 어떻게 향상되는가?
• RQ3 고정된 장애물 수(예: 3개)에서 훈련된 정책이 장애물 수가 적은 환경(1개 또는 2개)으로 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 딥 강화 학습이 맨리퓰레이터의 시각 기반 장애물 회피에 효과적으로 적용될 수 있는가? 이때 실시간 반응성과 안전성은 유지되는가?

주요 결과

• 제안된 방법은 실세계 상호작용 1시간 미만으로 단일 장애물 시나리오에서 84±6%의 성공률를 달성하였으며, 순수 DRL보다 성공률가 두 배 이상 높았다.
• 순수 DRL보다 수렴에 필요한 에피소드 수가 절반 이하로 감소하여 뛰어난 샘플 효율성을 입증하였다.
• 세 장애물이 있는 다중 장애물 시나리오에서는 약 10,000 에피소드(약 3시간의 실세계 데이터 수집) 후 수렴하여 72%의 성공률를 기록하였다.
• 훈련 구성 이외의 환경으로도 효과적으로 일반화되었으며, 1개 장애물 시나리오에서 66%의 성공률, 2개 장애물에서 54%, 3개 장애물에서 72%의 성공률를 기록하여 훈련된 설정을 초월한 강력한 일반화 능력을 보였다.
• 기본 정책은 탐색을 크게 향상시켰으며, 이는 평균 에피소드 보상이 높고 수렴 속도가 더 빠른 것으로 확인되었다.
• 시각 잠재 모델은 일반화 능력 향상과 정책 복잡도 감소에 기여하여 안정적이고 해석 가능한 반응형 행동을 가능하게 하였다.