[논문 리뷰] How Much Do Unstated Problem Constraints Limit Deep Robotic Reinforcement Learning?

W. Cannon Lewis, Mark Moll외 1명|arXiv (Cornell University)|2019. 09. 16.

Reinforcement Learning in Robotics참고 문헌 27인용 수 5

한 줄 요약

이 논문은 딥로보틱 강화학습에서 널리 사용되는 표준 Reacher 벤치마크 과제에서 묵시적인 공간 제약 조건이 학습을 크게 단순화시켜 실제 로봇 조작 과제의 특성과는 다소 떨어지는 결과를 초래한다는 점을 조사한다. 시뮬레이션된 UR5 로봇을 대상으로 DDPG를 사용한 결과, 목표 샘플링 영역을 제약된 상자 외부로 확장할 경우 학습 난이도가 크게 증가함을 보여주며, 이는 이전 결과가 더 넓은 비제약 조건의 로봇 과제에 일반화되지 않을 수 있음을 시사한다.

ABSTRACT

Deep Reinforcement Learning is a promising paradigm for robotic control which has been shown to be capable of learning policies for high-dimensional, continuous control of unmodeled systems. However, Robotic Reinforcement Learning currently lacks clearly defined benchmark tasks, which makes it difficult for researchers to reproduce and compare against prior work. “Reacher” tasks, which are fundamental to robotic manipulation, are commonly used as benchmarks, but the lack of a formal specification elides details that are crucial to replication. In this paper we present a novel empirical analysis which shows that the unstated spatial constraints in commonly used implementations of Reacher tasks make it dramatically easier to learn a successful control policy with Deep Deterministic Policy Gradients (DDPG), a state-of-the-art Deep RL algorithm. Our analysis suggests that less constrained Reacher tasks are significantly more difficult to learn, and hence that existing de facto benchmarks are not representative of the difficulty of general robotic manipulation.

연구 동기 및 목표

• 표준 Reacher 벤치마크 과제의 암묵적인 공간 제약 조건이 딥 강화학습 정책의 학습 가능성에 미치는 영향을 조사하는 것.
• 시뮬레이션에서 널리 사용되는 Reacher 과제가 일반 로봇 조작의 진정한 난이도를 대표하는지 평가하는 것.
• 목표 샘플링 영역의 제약 조건이 로봇 제어에서 DDPG의 샘플 효율성 및 점근적 성능에 미치는 영향을 평가하는 것.
• 현재의 벤치마크가 딥 RL 알고리즘의 실제 로봇 환경에서의 진정한 능력을 연구자들이 오해하게 만들 수 있다는 경험적 증거를 제공하는 것.

제안 방법

• 목표 제약 영역을 체계적으로 변화시킨 Reacher 과제의 시리즈를 구축하였으며, 이는 가까운 상자, 먼 상자, z-높이만 제약, 비제약 조건 등이 포함된다.
• 모든 실험에서 DDPG 알고리즘, 하이퍼파라미터, 코드베이스를 동일하게 유지하여 과제 정의가 학습 성능에 미치는 영향을 고립시켰다.
• 다양한 과제 유형 간 일관되고 재현 가능한 정책 훈련 및 평가를 가능하게 하기 위해 커스터마이징된 ROSGym 프레임워크를 사용하였다.
• 학습 에피소드 동안 성공률을 측정하고, 로봇 작업 영역의 거친 타일링을 통해 정책 성공 영역을 시각화하였다.
• 다양한 랜덤 시드를 기반으로 여러 개의 독립된 훈련 런을 수행하여 학습 결과의 강건성과 변동성을 평가하였다.
• 탐색 노이즈 없이 훈련된 정책을 실행하여 로봇 작업 영역 내에서의 성능 영역을 시각화함으로써 정책 행동을 분석하였다.

실험 결과

연구 질문

• RQ1 가까운 상자, 먼 상자, z-높이만 제약하는 등의 다양한 목표 제약 영역이 DDPG의 샘플 복잡성과 점근적 성공률에 어떤 영향을 미치는가?
• RQ2 표준 Reacher 벤치마크에서 묵시적인 공간 제약 조건이 비제약 조건 설정과 비교해 학습 문제를 얼마나 단순화시키는가?
• RQ3 로봇의 유효 작업 영역의 변화가 학습된 정책의 일반화 및 강건성에 어떤 영향을 미치는가?
• RQ4 동일한 DDPG 알고리즘이 제약 조건이 있는지 비제약 조건이 있는지에 관계없이 유사한 성능을 달성할 수 있는가, 아니면 작업 영역이 확장될수록 성능이 떨어지는가?
• RQ5 초기 정책 편향과 랜덤 시드가 비제약 조건 과제에서 최종 정책의 성공 영역을 형성하는 데 어떤 역할을 하는가?

주요 결과

• 가장 유사한 조건으로 사용된 먼 상자 제약 영역에서는 3-관절 및 6-관절 구성 모두에서 1,000개 이내의 훈련 에피소드 내에 거의 완벽한 성공률(약 100%)을 기록하였다.
• 먼 상자 영역에서 z-높이 제약을 제거해도 성능에 영향을 주지 않았으며, 이는 빠른 학습을 가능하게 하는 주요 요인이 로봇 기준부에서 목표 영역이 공간적으로 분리되어 있다는 점임을 시사한다.
• 반면, 목표 샘플링 영역이 확장된 비제약 조건의 Reacher 과제에서는 학습 속도가著로 느려지고 점근적 성공률도 낮아졌으며, DDPG는 여러 런에서 수렴하지 못했다.
• 비제약 조건 3-관절 과제에서 두 개의 독립된 DDPG 훈련 런은 성공 영역이 뚜렷이 다른 정책을 생성하였으며, 이는 초기 조건과 정책 편향에 매우 민감함을 나타낸다.
• 먼 상자 조건에서 관측된 성공률는 이전 연구에서 보고된 수준과 유사했으며, 이는 이전 결과가 과제 정의의 인위적 단순화에 기인할 수 있음을 시사한다.
• 본 연구는 현재의 벤치마크가 일반 로봇 조작의 진정한 난이도를 대표하지 못하며, 학습 복잡도를 크게 감소시키는 비물리적 제약 조건이 내장되어 있음을 입증한다.