[논문 리뷰] Evolving Rewards to Automate Reinforcement Learning

Aleksandra Faust, Anthony Francis외 1명|arXiv (Cornell University)|2019. 05. 18.

Reinforcement Learning in Robotics참고 문헌 26인용 수 22

한 줄 요약

이 논문은 보상 엔지니어링을 자동화하기 위해 보상 조정을 초항 최적화로 간주하는 AutoRL이라는 진화 강화학습 프레임워크를 제안한다. 보상 함수의 파rameterized 버전을 기반으로 한 집단 기반 검색을 통해 프록시 보상을 진화시켜, 수동 조정 및 초항 최적화 기반 베이스라인 대비 복잡한 Mujoco 작업에서 최대 489% 향상된 성능을 달성한다. 특히 Humanoid에서 SAC를 사용할 경우 두드러진 성능 향상을 보였다.

ABSTRACT

Many continuous control tasks have easily formulated objectives, yet using them directly as a reward in reinforcement learning (RL) leads to suboptimal policies. Therefore, many classical control tasks guide RL training using complex rewards, which require tedious hand-tuning. We automate the reward search with AutoRL, an evolutionary layer over standard RL that treats reward tuning as hyperparameter optimization and trains a population of RL agents to find a reward that maximizes the task objective. AutoRL, evaluated on four Mujoco continuous control tasks over two RL algorithms, shows improvements over baselines, with the the biggest uplift for more complex tasks. The video can be found at: \url{https://youtu.be/svdaOFfQyC8}.

연구 동기 및 목표

• 지속적 제어 작업에서 현재 광범위한 수동 조정이 필요한 보상 형상 조정의 번거로운 과정을 자동화하기 위해.
• 고차원 제어에서 샘플 효율적 학습을 저해하는 희박하거나 잘 구조화되지 않은 보상을 해결하기 위해.
• 수동으로 설계된 다목적 보상에 대한 의존도를 줄이고, 자동 최적화를 통해 효과적인 프록시 보상을 발견하기 위해.
• 다양한 강화학습 알고리즘과 작업에서 전통적인 초항 최적화 및 수동 보상 엔지니어링 대비 진화적 보상 탐색이 우월한지 평가하기 위해.
• 단일 작업 목적(예: 이동 거리)을 최적화하는 것이 복잡한 표준 수익을 기반으로 훈련한 정책과 유사한 성능을 내는지 확인하기 위해.

제안 방법

• 보상 가중치를 최적화할 초항으로 간주하여, 파arameterized 보상 함수를 대상으로 진화 알고리즘(EA)을 적용한다.
• 각기 다른 보상 구성이 적용된 병렬로 여러 개의 RL 에이전트를 훈련시키며, 이는 표준 환경 보상의 파arameterized 형태에서 유도된다.
• 작업 목표(예: 이동 거리, 도달 높이) 또는 표준 수익을 적합도 신호로 사용하여 가장 뛰어난 보상 구성 설정을 평가하고 선별한다.
• 변형과 선택과 같은 진화 전략을 통해 보상 파arameter를 최적화하고, 에이전트 성능에 기반해 반복적으로 보상 함수를 향상시킨다.
• 수정된 보상을 표준 강화학습 알고리즘(SAC 및 PPO)에 통합하여 수동 조정 및 초항 최적화 기반 베이스라인과의 종단 간 비교를 가능하게 한다.
• 작업 목표와 표준 수익을 기반으로 훈련된 정책 간의 교차 평가를 수행하여 일반화 능력과 성능 균형을 평가한다.

실험 결과

연구 질문

• RQ1 자동화된 진화적 접근 방식이 지속적 제어 작업에서 수동 보상 형상 조정 및 초항 최적화를 능가할 수 있는가?
• RQ2 단일 작업 목적(예: 이동 거리)을 최적화하는 것이 복잡한 다목적 표준 수익을 기반으로 훈련한 정책과 동일한 성능을 내는가?
• RQ3 샘플 효율성과 최종 정책 성능 측면에서 AutoRL의 보상 탐색은 전통적 초항 최적화와 비교해 어떻게 다른가?
• RQ4 AutoRL는 다양한 강화학습 알고리즘(SAC 대 PPO)과 환경(Ant, Walker2D, HumanoidStandup, Humanoid) 간에 일반화 가능한가?
• RQ5 동일한 훈련 예산 하에서, 개선된 보상은 기존 방법 대비 더 빠른 수렴과 고성능 정책을 이끌어내는가?

주요 결과

• SAC를 사용할 때 단일 작업 목적(이동 거리)을 최적화함으로써 AutoRL는 Humanoid 작업에서 초항 최적화 기반 베이스라인 대비 최대 489% 향상된 성능을 달성했다.
• AutoRL를 통해 단일 작업 목적을 기반으로 훈련된 정책는 표준 다목적 수익을 기반으로 훈련된 정책와 유사한 성능을 보였으며, 복잡한 보상 엔지니어링의 필요성을 줄였다.
• 모든 네 개의 Mujoco 환경에서 AutoRL는 수동 조정 및 초항 최적화 기반 베이스라인을 모두 능가했으며, 더 복잡한 작업에서 가장 큰 성과 향상을 보였다.
• SAC의 경우 AutoRL는 가장 빠르고 안정적인 학습을 보였으며, 평균 수익이 더 높고 행동 일관성이 더 좋은 성능을 보였다.
• HumanoidStandup에서 AutoRL는 SAC와 함께 유일하게 완전히 일어나는 것을 달성했고, 다른 방법들은 일관된 구부정한 자세에 머물렀다. 이는 정책 품질이 뛰어났음을 시사한다.
• 교차 평가 결과, 작업 목표 기반으로 최적화된 정책는 표준 수익 평가에 잘 일반화되었으며, 단순한 목표가 복잡한 보상 함수를 효과적으로 대체할 수 있음을 확인했다.