[논문 리뷰] Action Guidance: Getting the Best of Sparse Rewards and Shaped Rewards for Real-time Strategy Games

Shengyi Huang, Santiago Ontañón|arXiv (Cornell University)|2020. 10. 05.

Reinforcement Learning in Robotics참고 문헌 30인용 수 5

한 줄 요약

이 논문은 표본 효율성과 진정한 목표 최적화를 동시에 확보하기 위해 보상 형상화와 희박한 보상의 조합을 고려한 새로운 강화학습 방법인 액션 가이던스를 소개한다. 희박한 보상으로만 훈련되는 메인 에이전트와 보상 형상화로 훈련되는 보조 에이전트를 통해 탐색을 안내함으로써, 이 방법은 보상 형상화 수준의 표본 효율성을 달성하면서도 메인 에이전트가 궁극적으로 진정한 목표를 최적화하도록 보장한다. 이는 μRTS 환경에서 검증되었다.

ABSTRACT

Training agents using Reinforcement Learning in games with sparse rewards is a challenging problem, since large amounts of exploration are required to retrieve even the first reward. To tackle this problem, a common approach is to use reward shaping to help exploration. However, an important drawback of reward shaping is that agents sometimes learn to optimize the shaped reward instead of the true objective. In this paper, we present a novel technique that we call action guidance that successfully trains agents to eventually optimize the true objective in games with sparse rewards while maintaining most of the sample efficiency that comes with reward shaping. We evaluate our approach in a simplified real-time strategy (RTS) game simulator called $μ$RTS.

연구 동기 및 목표

• 실시간 전략(RTS) 게임에서 탐색이 비효율적이고 신용 배분이 어려운 희박한 보상 문제를 해결하기 위해.
• 보상 형상화의 단점을 극복하기 위해, 에이전트가 형상화된 보상 대신 진정한 목표를 최적화할 수 있도록 하기 위해.
• 보상 형상화의 표본 효율성을 유지하면서도 메인 에이전트가 진정한 희박한 보상을 최적화하도록 학습시키는 방법을 개발하기 위해.
• 다양한 난이도의 작업을 포함한 현실적이면서도 단순화된 RTS 환경인 μRTS에서 이 방법을 평가하기 위해.

제안 방법

• 메인 에이전트는 진정한 목표와 일치하기 위해 희박한 보상 함수 $ R_{\mathcal{M}} $ 에서만 훈련된다.
• 보조 에이전트는 형상화된 보상 함수 $ R_{\mathcal{A}_i} $ 에서 훈련되어 초기 훈련 단계에서 표본 효율적인 안내를 제공한다.
• 훈련 중 메인 에이전트는 초기에는 높은 확률로 보조 에이전트에서 샘플된 행동을 따르며 점차 더 독립적으로 변한다.
• 메인 및 보조 에이전트는 오프-폴리시 정책 그래디언트를 통해 훈련되며, 공유된 롤아웃을 통해 데이터 효율성을 높인다.
• 액션 가이던스는 보조 에이전트에 대한 보상 형상화와 메인 에이전트 안내에 대한 이mitation 학습을 융합하여 하이브리드 훈련 체제를 만든다.
• 적응 기간 길이 및 PLO(Positive Learning Optimization) 사용 여부와 같은 하이퍼파라미터는 지도력과 정책 편향의 균형을 맞추기 위해 조정된다.

실험 결과

연구 질문

• RQ1 액션 가이던스는 보상 형상화 수준의 표본 효율성을 확보하면서도 메인 에이전트가 진정한 희박한 보상을 최적화하도록 보장할 수 있는가?
• RQ2 적응 기간의 길이가 메인 에이전트가 효과적인 행동을 발견하는 데 미치는 영향은 어떠한가?
• RQ3 PLO의 사용이 액션 가이던스 에이전트의 훈련 안정성과 수렴성에 기여하는가?
• RQ4 형상화된 보상에 접근할 수 없음에도 불구하고 액션 가이던스가 인간과 유사한 전략(예: 워커 러시, 동시 유닛 생산)을 효율적으로 학습시킬 수 있는가?
• RQ5 보조 에이전트도 메인 에이전트의 정책에서 이점을 얻는 경우, 액션 가이던스는 협업 학습 메커니즘을 수용할 수 있는가?

주요 결과

• 액션 가이던스는 μRTS의 세 가지 작업 전반에서 보상 형상화와 거의 동일한 표본 효율성을 확보하여 뛰어난 데이터 효율성을 입증했다.
• 액션 가이던스로 훈련된 메인 에이전트는 형상화된 보상을 한 번도 관찰하지 못했음에도 불구하고 게임을 가장 빨리 승리하는 방식으로 학습했으며, 이는 진정한 목표 최적화의 확인이다.
• DefeatRandomEnemy 작업에서 액션 가이던스 에이전트는 일관되게 워커 러시 전략을 학습했으며, 이는 강력하고 효율적인 접근 방식이다. 반면 형상화된 보상 에이전트는 다양한 비효율적인 행동을 보였다.
• ProduceCombatUnits 작업에서 장기간 적응 기간을 가진 메인 에이전트는 전투 유닛을 생산하면서 자원을 수확하는 것을 동시에 학습했으며, 전문가 행동과 유사했다. 반면 형상화된 보상 에이전트는 자원을 완전히 확보한 후에야 유닛 생산을 시작했다.
• PLO는 짧은 적응 기간 설정에서 수렴 안정성을 향상시켰지만, 장기간 적응 설정에서는 성능을 저하시켜 효과가 상황에 따라 달라지는 것으로 나타났다.
• 혼합 정책 변형은 다양한 작업에서 뛰어난 성능을 보였으며, 이는 메인 에이전트와 보조 에이전트 간의 상호 지식 전이 잠재력이 있음을 시사한다.