[논문 리뷰] Reward Engineering for Object Pick and Place Training

Raghav Nagpal, Achyuthan Unni Krishnan외 1명|arXiv (Cornell University)|2020. 01. 11.

Reinforcement Learning in Robotics참고 문헌 20인용 수 7

한 줄 요약

이 논문은 OpenAI Gym 환경을 사용하여 로봇의 집기 및 놓기 작업을 위한 강화학습을 가속화하기 위해 보상 엔지니어링 기법을 제안한다. x, y, z 축 방향의 거리 기반 보상에 가중치를 적용하고 허시리의 경험 재생(HER)을 통합함으로써 저자들은 OpenAI의 기준 기반 보다 학습 시간을 약 50% 감소시켰으며, 도시 블록 경로(맨하탄 경로)와 같은 사용자 지정 경로 선호도를 가능하게 하였다.

ABSTRACT

Robotic grasping is a crucial area of research as it can result in the acceleration of the automation of several Industries utilizing robots ranging from manufacturing to healthcare. Reinforcement learning is the field of study where an agent learns a policy to execute an action by exploring and exploiting rewards from an environment. Reinforcement learning can thus be used by the agent to learn how to execute a certain task, in our case grasping an object. We have used the Pick and Place environment provided by OpenAI's Gym to engineer rewards. Hindsight Experience Replay (HER) has shown promising results with problems having a sparse reward. In the default configuration of the OpenAI baseline and environment the reward function is calculated using the distance between the target location and the robot end-effector. By weighting the cost based on the distance of the end-effector from the goal in the x,y and z-axes we were able to almost halve the learning time compared to the baselines provided by OpenAI, an intuitive strategy that further reduced learning time. In this project, we were also able to introduce certain user desired trajectories in the learnt policies (city-block / Manhattan trajectories). This helps us understand that by engineering the rewards we can tune the agent to learn policies in a certain way even if it might not be the most optimal but is the desired manner.

연구 동기 및 목표

• 보상 엔지니어링을 통해 로봇의 집기 및 놓기 강화학습에서 샘플 효율성을 향상시키기.
• 로봇 조작 작업에서 희박한 보상 문제를 해결하기.
• OpenAI의 기본 기반 정책보다 학습 시간을 단축시키기.
• 보상 형상화를 통해 사용자가 원하는 경로(예: 시티블록(맨하탄) 경로) 학습을 가능하게 하기.
• 보상 엔지니어링이 최적의 행동이 아니지만 원하는 행동으로 에이전트를 이끌 수 있음을 보여주기.

제안 방법

• 훈련의 기준 환경으로 OpenAI Gym의 집기 및 놓기 환경을 사용하였다.
• 목표 위치에서의 개별 x, y, z 축 이격도에 가중치를 적용한 거리 기반 보상 함수를 설계하였다.
• 희박한 보상 환경에서 샘플 효율성을 향상시키기 위해 허시리의 경험 재생(HER)을 적용하였다.
• 사용자 지정 경로 선호도(예: 맨하탄 경로)를 보상 함수에 통합하여 정책 학습을 이끌었다.
• 공학된 보상 함수를 사용하여 Proximal Policy Optimization(PPO)를 통해 정책을 훈련시켰다.
• OpenAI의 기본 기반과의 성능 비교를 통해 학습 곡선과 샘플 효율성을 평가하였다.

실험 결과

연구 질문

• RQ1 축 가중 거리 기반 보상 형상화가 로봇의 집기 및 놓기 작업에서 학습 시간을 단축시킬 수 있는가?
• RQ2 허시리의 경험 재생(HER)이 희박한 보상 환경에서 공학된 보상과 어떻게 상호작용하는가?
• RQ3 보상 엔지니어링을 통해 비최적의 경로이지만 원하는 경로(예: 맨하탄 경로)로 에이전트를 얼마나 효과적으로 이끌 수 있는가?
• RQ4 축 가중 보상과 HER를 조합하면 표준 기반 설정보다 수렴 속도가 빠른가?
• RQ5 연속 제어 작업에서 사용자 정의 행동 선호도를 보상 엔지니어링을 통해 효과적으로 표현할 수 있는가?

주요 결과

• 제안된 보상 엔지니어링 덕분에 OpenAI의 기본 기반 대비 학습 시간이 약 50% 감소하였다.
• 축 가중 거리 보상은 희박한 보상 환경에서의 집기 및 놓기 작업에서 샘플 효율성을 크게 향상시켰다.
• 허시리의 경험 재생(HER)은 공학된 보상 함수와 효과적으로 보완되어 학습의 안정성과 속도를 향상시켰다.
• 비최적의 경로이지만 사용자가 지정한 경로(예: 시티블록 경로)를 따르는 정책을 성공적으로 학습시켰다.
• 가중 거리 보상과 HER의 조합은 수렴 속도와 작업 성공률 측면에서 표준 훈련 설정을 능가하는 성능을 보였다.