[논문 리뷰] RBED: Reward Based Epsilon Decay

Aakash Maroti|arXiv (Cornell University)|2019. 10. 30.

Reinforcement Learning in Robotics참고 문헌 3인용 수 5

한 줄 요약

이 논문은 강화학습에서 동적 탐색 전략인 보상 기반 이psilon 감소(RBED)를 제안한다. 이 전략은 에이전트가 점진적으로 증가하는 보상 기준을 초과할 때에만 ε-그리디 탐색 비율을 감소시킨다. 고정된 지수 감소 방식과 달리 RBED는 에이전트 성능에 맞춰 적응하여 더 안정적이고 신뢰할 수 있는 학습을 가능하게 하며, 표준 감소 방식 대비 OpenAI의 CartPole-v0 환경을 500 에피소드 내에 해결하는 데에 500% 향상된 성능을 기록한다.

ABSTRACT

$\varepsilon$-greedy is a policy used to balance exploration and exploitation in many reinforcement learning setting. In cases where the agent uses some on-policy algorithm to learn optimal behaviour, it makes sense for the agent to explore more initially and eventually exploit more as it approaches the target behaviour. This shift from heavy exploration to heavy exploitation can be represented as decay in the $\varepsilon$ value, where $\varepsilon$ depicts the how much an agent is allowed to explore. This paper proposes a new approach to this $\varepsilon$ decay where the decay is based on feedback from the environment. This paper also compares and contrasts one such approach based on rewards and compares it against standard exponential decay. The new approach, in the environments tested, produces more consistent results that on average perform better.

연구 동기 및 목표

• 고정된 스케줄 기반 ε-감소 전략의 한계를 해결하기 위해, 실제 에이전트 성능이나 학습 진전을 고려하지 않는 문제를 해결한다.
• 에이전트 성능과 환경 피드백에 기반해 ε-감소를 유도함으로써 전문가가 수작업으로 튜닝한 하이퍼파rameter에 대한 의존도를 줄인다.
• 에이전트가 측정 가능한 진전을 보일 때에만 탐색을 감소시킴으로써 학습의 안정성과 재현 가능성을 향상시킨다.
• 에피소드 수가 아닌 성능 기반으로, 다양한 학습 속도를 가진 에이전트들이 유사한 수준의 이용도를 달성할 수 있도록 한다.

제안 방법

• 에이전트가 기준을 초과할 때마다 점차 증가하는 보상 기준을 도입하여, 이 기준을 초과할 경우 ε를 감소시킨다.
• 각 기준 초과 시점에서 고정된 단계 크기로 ε를 감소시키며, 이는 (초기_ε - 최소_ε) / 목표 도달을 위한 총 단계 수로 계산되어 부드러운 감소를 보장한다.
• 감소 메커니즘은 에피소드 수와 분리되어 누적 보상 성능에 기반하여, 에이전트의 능력에 맞춰 적응적으로 작동한다.
• 알고리즘은 피드백 루프를 사용한다: 최근 에피소드의 보상이 현재 기준에 도달하거나 이를 초과하면, ε를 감소시키고 기준을 상향 조정한다.
• 이 방법은 Neural Episodic Controller와 Deep Q-Network(DQN) 에이전트 모두에 대해 CartPole-v0 환경에서 적용된다.
• 표준 지수 감소(ε *= 감소율)를 성능 기반 업데이트 규칙으로 대체하며, 이는 보상 기준에 기반한다.

실험 결과

연구 질문

• RQ1 보상 기반 ε-감소 전략은 고정된 지수 감소 전략에 비해 강화학습에서 학습 안정성과 해결 가능성 향상에 기여하는가?
• RQ2 ε-감소를 에피소드 수에서 분리하고 실제 에이전트 성능에 기반시킬 경우, 다양한 학습 속도를 가진 에이전트 간의 일반화 성능이 향상되는가?
• RQ3 RBED는 ε-그리디 탐색 전략에서 전문가의 하이퍼파rameter 튜닝이 필요한 정도를 어느 정도 감소시키는가?
• RQ4 CartPole-v0 환경에서 RBED는 지수 감소 전략과 비교해 수렴 속도와 최종 성능 측면에서 어떻게 다른가?
• RQ5 성능 기반 감소 전략은 다수의 학습 실행 간에 더 일관되고 재현 가능한 결과를 도출할 수 있는가?

주요 결과

• Neural Episodic Controller를 사용할 경우, RBED는 표준 지수 감소 대비 500회 이상의 성능 향상을 기록하여 CartPole-v0 환경을 500 에피소드 내에 해결했다.
• 지수 감소 전략은 보상이 빨리 정점에 도달했지만, 높은 성능를 유지하지 못했고 환경 해결에 거의 실패한 반면, RBED는 그렇지 않았다.
• RBED는 더 안정적이고 일관된 학습 곡선을 보였으며, 환경 해결을 위해 필요한 195점 기준을 통과할 가능성이 더 높았다.
• DQN 기반 학습에서는 RBED가 평균 보상, 마지막 100 에피소드의 평균 보상 등 모든 지표에서 지수 감소 전략을 능가했다.
• 마지막 100 에피소드의 평균 보상은 RBED 하에서 해결에 도달하는 데로 지속적인 장기적 추세를 보였으며, 안정된 성능 달성의 효과를 확인했다.
• RBED 하에서의 ε-감소 곡선은 고정된 지수 감소보다 훨씬 더 적응적이고 성능 중심이었으며, 급격한 하락이 적었다.