[논문 리뷰] Curious Exploration and Return-based Memory Restoration for Deep Reinforcement Learning

Saeed Tafazzol, Erfan Fathi외 2명|arXiv (Cornell University)|2021. 05. 02.

Reinforcement Learning in Robotics참고 문헌 11인용 수 4

한 줄 요약

이 논문은 희박한 보상 환경에서 이진 성공/실패 보상만을 사용하여 에이전트를 훈련시키기 위해 궁금증 기반 탐색(Curious Exploration)과 수익 기반 메모리 복원(RMR)을 조합한 강화학습 프레임워크를 제안한다. 궁금증 기반 탐색과 RMR를 통한 유의미한 기억 우선순위 부여를 통해 DDPG 에이전트가 복잡한 하프 필드 오펜스 풋볼 시뮬레이션에서 목표를 성공적으로 달성할 수 있도록 하였으며, 표준 DDPG 및 궁금증 전용 베이스라인에 비해 평균 97.8%의 성공률을 기록하여 우수한 성능을 보였다.

ABSTRACT

Reward engineering and designing an incentive reward function are non-trivial tasks to train agents in complex environments. Furthermore, an inaccurate reward function may lead to a biased behaviour which is far from an efficient and optimised behaviour. In this paper, we focus on training a single agent to score goals with binary success/failure reward function in Half Field Offense domain. As the major advantage of this research, the agent has no presumption about the environment which means it only follows the original formulation of reinforcement learning agents. The main challenge of using such a reward function is the high sparsity of positive reward signals. To address this problem, we use a simple prediction-based exploration strategy (called Curious Exploration) along with a Return-based Memory Restoration (RMR) technique which tends to remember more valuable memories. The proposed method can be utilized to train agents in environments with fairly complex state and action spaces. Our experimental results show that many recent solutions including our baseline method fail to learn and perform in complex soccer domain. However, the proposed method can converge easily to the nearly optimal behaviour. The video presenting the performance of our trained agent is available at http://bit.ly/HFO_Binary_Reward.

연구 동기 및 목표

• 희박한 이진 성공/실패 보상만을 제공하는 환경에서 전통적인 보상 형상화가 불가능한 상황에서 딥 강화학습 에이전트를 훈련시키는 데 도전하는 것.
• 환경에서 제공하는 다음 상태와 이진 보상 신호만을 사용하여 수동으로 설계된 보상 함수에 의존하지 않는 것.
• 탐색 능력 향상과 기억 유지 능력 향상을 통해 복잡한 행동 및 상태 공간에서의 샘플 효율성과 수렴 속도 향상.
• 보상 공학 없이도 내재된 궁금증과 기억 우선순위 부여만으로 HFO 도메인에서 거의 최적의 행동을 달성할 수 있음을 입증하는 것.

제안 방법

• 에이전트가 학습된 동역학 모델에서의 예측 오차에 의해 구동되어 새로운 불확실한 상태를 탐색하도록 하는 예측 기반 탐색 전략인 궁금증 기반 탐색(Curious Exploration)을 도입한다.
• 수익 기반 메모리 복원(RMR) 메커니즘을 활용하여 누적 수익이 높은 경험을 우선순위로 저장하고 재사용함으로써, 메모리 버퍼 내의 가치 있는 기억의 밀도를 높인다.
• 보상 형상화 없이 원래의 RL 설정에서만 작동하는 표준 DDPG 알고리즘을 정책 학습의 핵심으로 사용한다.
• 현재 상태와 행동에서 다음 상태를 추정하는 상태 동역학 예측 모델을 훈련시키며, 예측 오차를 내재된 궁금증 보상으로 활용한다.
• RMR를 적용하여 기억 저장 정책을 수정하여 수익이 높은 전이를 선호함으로써, 중요한 긍정적 경험 트랙을 유지한다.
• 환경의 이진 보상과 내재된 궁금증 보상을 조합하여 희박한 보상 환경에서 탐색과 학습을 이끌어낸다.

실험 결과

연구 질문

• RQ1 이진 성공/실패 보상만을 사용하고 수동 보상 형상화 없이 DRL 에이전트가 하프 필드 오펜스 도메인에서 골을 성공적으로 기록할 수 있는가?
• RQ2 궁금증 기반 탐색은 랜덤 탐색이나 표준 DDPG에 비해 희박한 보상 환경에서 학습 효율성을 어떻게 향상시키는가?
• RQ3 수익 기반 메모리 복원은 고수익 경험을 유지함으로써 샘플 효율성과 수렴 속도를 어느 정도 향상시키는가?
• RQ4 궁금증과 메모리 복원의 조합이 표준 DDPG가 실패하는 희박한 보상 환경에서 성능을 뛰어올릴 수 있는가?

주요 결과

• 이진 보상 함수만을 사용한 DDPG 에이전트는 다섯 번의 훈련 라운드 동안 평균 성공률 0.000으로 완전히 실패하였다.
• DDPG + 궁금증 기반 탐색(CE) 에이전트는 평균 성공률 91.9%를 기록하여 궁금증만으로도 희박한 환경에서 학습이 향상됨을 입증하였다.
• DDPG + CE + RMR 에이전트는 평균 성공률 97.8%를 기록하여 양 베이스라인 모두를 뛰어넘었으며, 최적 행동으로의 수렴 속도가 더 빠름을 보였다.
• RMR 메커니즘이 중요한 긍정적 경험 트랙을 효과적으로 유지하여 희박한 긍정 신호의 조기 상실을 방지하고 안정적인 학습을 가능케 하였다.
• 첫 번째 볼 접촉 및 첫 골 발생 시점에서 예측 손실과 탐색 보상의 급격한 상승은 궁금증이 핵심 과제 관련 행동으로 에이전트를 이끌어내는 것을 확인하였다.
• 이 방법은 보상 공학 없이도 복잡한 고차원 행동 및 상태 공간 환경에서 학습을 성공적으로 이끌었으며, 오직 표준 RL 설정에 의존하였다.