[논문 리뷰] Improving Policy Gradient by Exploring Under-appreciated Rewards

Ofir Nachum, Mohammad Norouzi외 1명|arXiv (Cornell University)|2016. 11. 28.

Viral Infectious Diseases and Gene Expression in Insects인용 수 5

한 줄 요약

이 논문은 보상이 희박한 환경에서 탐색을 향상시키기 위해 정책 기반 강화학습 방법인 Under-appreciated Reward Exploration (UREX)을 제안한다. UREX는 정책의 기대 보상보다 높은 보상을 제공하는 행동 시퀀스를 목표로 삼아 탐색을 개선한다. 이는 샘플 효율성과 내성적 안정성을 향상시키며, 희박한 보상 피드백만을 사용하여 다자릿수 덧셈 문제를 처음으로 모델-프리 강화학습으로 성공적으로 해결했고, 일부 경우에서는 2000자릿수의 수열로의 일반화를 달성했다.

ABSTRACT

This paper presents a novel form of policy gradient for model-free reinforcement learning (RL) with improved exploration properties. Current policy-based methods use entropy regularization to encourage undirected exploration of the reward landscape, which is ineffective in high dimensional spaces with sparse rewards. We propose a more directed exploration strategy that promotes exploration of under-appreciated reward regions. An action sequence is considered under-appreciated if its log-probability under the current policy under-estimates its resulting reward. The proposed exploration strategy is easy to implement, requiring small modifications to an implementation of the REINFORCE algorithm. We evaluate the approach on a set of algorithmic tasks that have long challenged RL methods. Our approach reduces hyper-parameter sensitivity and demonstrates significant improvements over baseline methods. Our algorithm successfully solves a benchmark multi-digit addition task and generalizes to long sequences. This is, to our knowledge, the first time that a pure RL method has solved addition using only reward feedback.

연구 동기 및 목표

• 모델-프리 강화학습에서 보상이 희박한 문제, 특히 장기간 정밀한 행동 시퀀스가 필요한 알고리즘 작업에 대해 도전 과제를 해결하기 위해.
• 엔트로피 정규화나 $ε$-greedy와 같은 비방향적 탐색 전략이 고차원적이고 보상이 희박한 환경에서 실패하는 한계를 극복하기 위해.
• 현재 정책이 부족하게 평가하는 행동 시퀀스—즉, 예상보다 높은 보상을 제공하는 시퀀스—를 적극적으로 탐색하는 방법을 개발하기 위해.
• 강력한 감독 없이도 순수한 강화학습으로 복잡한 알고리즘 작업을 해결할 수 있도록 하기 위해, 예를 들어 다자릿수 덧셈을 해결하기 위해.
• 특히 장거리 일반화 작업에서 하이퍼파라미터에 대한 내성적 안정성과 일반화 능력을 향상시키기 위해.

제안 방법

• UREX는 REINFORCE 정책 기반 강화학습 목적함수를 수정하여, 실제 보상이 정책의 예측 로그확률을 초과하는 행동 시퀀스의 탐색을 장려하는 항목을 포함한다.
• 중요도 샘플링을 사용하여 병합된 목적함수의 기울기를 추정한다: 표준 REINFORCE 항목과 로그확률과 관측된 보상 간의 잘못된 보정을 수정하는 평균 향상 항목이 포함된다.
• 이 방법은 현재 정책 하에서 로그확률이 실제 수익보다 너무 낮은 시퀀스를 부족하게 평가된 것으로 식별한다. 이는 향후 개선 가능성을 시사한다.
• 중요도 샘플링 가중치를 정규화하고, 궤적 간 보상과 정규화된 가중치의 평균을 빼어 분산을 줄인다.
• 이 방법은 REINFORCE에 최소한의 수정만을 가하여 구현되며, 정책 기반 강화학습 업데이트 규칙만 변경된다.
• 커리큘럼 학습 스케줄을 사용하여, 짧은 시퀀스에서 높은 성능을 달성한 후 점차적으로 시퀀스 길이를 늘린다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화나 $ε$-greedy 탐색에 의존하지 않고도, 정책 기반 강화학습 방법이 부족하게 평가되는 행동 시퀀스—즉, 예상보다 높은 보상을 제공하는 시퀀스—를 효과적으로 탐색할 수 있는가?
• RQ2 부족하게 평가되는 영역을 목표로 삼는 것이 다자릿수 덧셈과 같은 보상이 희박한 알고리즘 작업에서 샘플 효율성과 성능 향상에 기여하는가?
• RQ3 UREX는 짧은 시퀀스(최대 33자리)에서만 훈련되었음에도 불구하고, 2000자릿수 덧셈과 같은 장거리 시퀀스로 일반화할 수 있는가?
• RQ4 중간 보상이 있는 값 기반 방법(예: 1단계 Q-학습)과 비교할 때, UREX는 성능과 하이퍼파라미터 민감도 측면에서 어떻게 다른가?
• RQ5 UREX는 이전에 순수한 강화학습 접근 방식이 실패했던 알고리즘 작업, 예를 들어 다자릿수 덧셈을, 에피소드 보상 피드백만으로 해결할 수 있는가?

주요 결과

• UREX는 감독 없이도 에피소드 보상 피드백만으로 다자릿수 덧셈 작업을 성공적으로 해결했으며, 이는 순수한 모델-프리 강화학습 방법이 이와 같은 과제를 처음으로 해결한 사례이다.
• 5번의 랜덤 재시작 중 2번에서 UREX 에이전트는 33자리 이하의 시퀀스에서만 훈련되었음에도 불구하고 2000자릿수 덧셈 시퀀스로 완벽한 일반화를 달성했다.
• UREX는 엔트로피 정규화된 REINFORCE와 1단계 Q-학습보다 뚜렷이 뛰어난 성능을 보였으며, 특히 다자릿수 덧셈과 같은 가장 도전적인 과제에서 두드러졌다.
• 이 방법은 하이퍼파라미터 민감도가 감소하여, 기존 기준 방법에 비해 더 높은 내성적 안정성을 보이며 광범위한 튜닝에 의존하지 않게 되었다.
• BinarySearch 과제에서는 이진 탐색과 선형 탐색의 하이브리드 전략을 학습했으며, 이는 정확도는 달성했지만 효율성은 완전히 최적화되지 않았음을 시사한다.
• Copy 및 ReversedAddition 과제에서는 UREX가 강력한 일반화 성능을 달성했으며, 자세한 결과는 부록 C에 기재되어 있다.