[논문 리뷰] Reinforcement Learning without Ground-Truth State

Xingyu Lin, Harjatin Singh Baweja외 1명|arXiv (Cornell University)|2019. 05. 20.

Reinforcement Learning in Robotics참고 문헌 4인용 수 9

한 줄 요약

이 논문은 지도된 상태 추정이 필요 없이 고차원 RGB-D 관측값에서 직접 정책을 훈련하는 목표 조건부 강화 학습 방법을 제안한다. 정확한 관측값 일치 시에만 작동하는 지표 보상 함수를 사용하고, 목표 재라벨링, 보상 균형 조정, 보상 필터링을 적용함으로써, 지도된 상태를 사용하는 오라클과 유사한 성능을 달성하여 시뮬레이션과 실제 세계에서 로프 밀기와 같은 복잡한 조작 작업을 가능하게 한다.

ABSTRACT

To perform robot manipulation tasks, a low-dimensional state of the environment typically needs to be estimated. However, designing a state estimator can sometimes be difficult, especially in environments with deformable objects. An alternative is to learn an end-to-end policy that maps directly from high-dimensional sensor inputs to actions. However, if this policy is trained with reinforcement learning, then without a state estimator, it is hard to specify a reward function based on high-dimensional observations. To meet this challenge, we propose a simple indicator reward function for goal-conditioned reinforcement learning: we only give a positive reward when the robot's observation exactly matches a target goal observation. We show that by relabeling the original goal with the achieved goal to obtain positive rewards (Andrychowicz et al., 2017), we can learn with the indicator reward function even in continuous state spaces. We propose two methods to further speed up convergence with indicator rewards: reward balancing and reward filtering. We show comparable performance between our method and an oracle which uses the ground-truth state for computing rewards. We show that our method can perform complex tasks in continuous state spaces such as rope manipulation from RGB-D images, without knowledge of the ground-truth state.

연구 동기 및 목표

• 지상 상태 추정에 의존하지 않고 종단 간 강화 학습을 가능하게 하기 위해.
• 특히 유연한 물체에 대해 고차원 관측 공간에서 희박한 보상과 보상 형상 조정 문제를 해결하기 위해.
• 추가 센서나 지상 상태가 있는 시뮬레이터가 필요 없이 원시 관측값에서만 작동하는 보상 함수를 개발하기 위해.
• 지표 보상과 함께 재라벨링 및 필터링을 적용할 경우, 지상 상태를 사용하는 오라클 방법과 동등한 성능을 달성할 수 있는지 보여주기 위해.

제안 방법

• 현재 관측값이 목표 관측값과 정확히 일치할 때만 양의 보상을 주는 지표 보상 함수를 제안한다.
• 연속 상태 공간에서도 원래 목표를 달성한 관측값으로 교체함으로써 목표 재라벨링을 적용하여, 양의 보상을 생성한다.
• 양의 보상과 음의 보상 간 클래스 불균형을 완화하기 위해 보상 균형 조정을 도입한다.
• 불확실하거나 노이즈가 있는 음의 보상을 억제하여 훈련 안정성을 향상시키기 위해 보상 필터링을 구현한다.
• 표준 오프-폴리시 알고리즘인 DDPG에 목표 재라벨링을 적용하여 훈련한다.
• 표현 없음 접근 방식을 사용한다 — 기존의 오토인코더나 VAE를 사용하는 방법과 달리, 데이터로부터 보상 함수를 학습하지 않는다.

실험 결과

연구 질문

• RQ1 지상 상태 감시 없이 관측값 일치에 기반한 지표 보상 함수가 연속 상태 공간에서 효과적인 정책 학습을 가능하게 할 수 있는가?
• RQ2 목표 재라벨링, 보상 균형 조정, 보상 필터링의 조합이 희박한 보상 환경에서 샘플 효율성과 수렴성을 어떻게 향상시키는가?
• RQ3 오직 원시 RGB-D 관측값만 제공될 때, 이 방법이 지상 상태를 사용하는 오라클 방법과 유사한 성능을 달성할 수 있는가?
• RQ4 이 방법은 로프와 같은 유연한 물체를 포함한 실제 로봇 조작 작업에 일반화되는가?
• RQ5 표현 기반 보상 학습 방법(예: VAE, DPN)과 비교했을 때, 최종 작업 성능과 내구성 측면에서 이 방법은 어떠한가?

주요 결과

• 지표 보상 + 균형 조정 + 필터링을 적용한 제안된 방법은 시뮬레이션 환경에서 지상 상태를 사용하는 오라클 방법과 거의 동일한 성능을 달성하며, 특히 복잡한 RopePush 작업에서도 성공한다.
• RopePush 환경에서 오직 오라클과 제안된 방법만 목표에 도달하는 데 성공했으며, 표현 기반 기준선(AE, VAE, DPN)은 프록시 보상 유출로 인해 실패했다.
• 제거 실험 결과, 보상 균형 조정과 필터링이 모두 필수적임을 확인 — 둘 중 하나를 제거하면 성능이 크게 떨어진다.
• 이 방법은 실제 환경으로 일반화 가능하다: Sawyer 로봇에서 오직 RGB-D 이미지만을 사용하여 오라클과 유사한 최종 목표 거리를 달성했다.
• 이론적 분석 결과, 지표 보상 하에서 최적 정책은 지상 상태 보상 정책에 대해 유한한 부분최적성(suboptimality)을 가진다.
• 표현 기반 보상 학습 기준선은 종종 잠재 공간에서 허구적 상관관계를 악용하는 경향이 있으나, 이 방법은 지상 상태 입력이 주어진 경우조차도 이를 우수하게 능가한다.