[논문 리뷰] Designing Rewards for Fast Learning

Henry Sowerby, Zhiyuan Zhou외 1명|arXiv (Cornell University)|2022. 05. 30.

Auction Theory and Applications인용 수 8

한 줄 요약

이 논문은 최적의 결정을 고려해야 할 유효한 계획 기간을 측정하는 새로운 지표인 '주관적 할인'을 최소화하고 행동 갭을 최대화함으로써 강화학습의 수렴 속도를 높이는 선형계획법 기반 보상 함수 설계 방법을 제안한다. 실험 결과, Q-러닝을 사용한 표본 환경에서 이러한 방식으로 설계된 보상은 빠른 학습을 이끌어내며, 핵심 원칙으로는 행동에 대한 보상 감소, 점진적으로 증가하는 보조목표 보상, 그리고 신중한 조밀한 보상 설계가 포함된다.

ABSTRACT

To convey desired behavior to a Reinforcement Learning (RL) agent, a designer must choose a reward function for the environment, arguably the most important knob designers have in interacting with RL agents. Although many reward functions induce the same optimal behavior (Ng et al., 1999), in practice, some of them result in faster learning than others. In this paper, we look at how reward-design choices impact learning speed and seek to identify principles of good reward design that quickly induce target behavior. This reward-identification problem is framed as an optimization problem: Firstly, we advocate choosing state-based rewards that maximize the action gap, making optimal actions easy to distinguish from suboptimal ones. Secondly, we propose minimizing a measure of the horizon, something we call the "subjective discount", over which rewards need to be optimized to encourage agents to make optimal decisions with less lookahead. To solve this optimization problem, we propose a linear-programming based algorithm that efficiently finds a reward function that maximizes action gap and minimizes subjective discount. We test the rewards generated with the algorithm in tabular environments with Q-Learning, and empirically show they lead to faster learning. Although we only focus on Q-Learning because it is perhaps the simplest and most well understood RL algorithm, preliminary results with R-max (Brafman and Tennenholtz, 2000) suggest our results are much more general. Our experiments support three principles of reward design: 1) consistent with existing results, penalizing each step taken induces faster learning than rewarding the goal. 2) When rewarding subgoals along the target trajectory, rewards should gradually increase as the goal gets closer. 3) Dense reward that's nonzero on every state is only good if designed carefully.

연구 동기 및 목표

• 동일한 최적 정책을 유도하는 여러 올바른 보상 함수가 존재하더라도 학습 속도를 가속화하는 보상 설계 원칙을 규명하는 것.
• 효율적 계획 기간을 측정하는 지표로 '주관적 할인'을 도입하여 보상 구조가 학습 속도에 미치는 영향을 체계화하는 것.
• 행동 갭을 최대화하고 주관적 할인을 최소화하는 보상 함수를 생성하기 위한 최적화 프레임워크를 개발하는 것.
• 적절하게 설계된 보상—특히 행동 보상 감소나 점진적으로 증가하는 보조목표 보상이 포함된 보상—이 희박하거나 구조가 잘못된 조밀한 보상보다 정책 일치 속도가 빠르다는 것을 경험적으로 검증하는 것.

제안 방법

• 주어진 할인 계수 하에서 최적 행동과 비최적 행동 간의 행동 갭을 최대화하는 선형계획법으로 보상 설계 문제를 수립한다.
• 목표 정책가 유지되는 최소 할인 계수로 '주관적 할인'을 정의하여 다양한 보상 함수 간의 유효 계획 기간을 비교할 수 있도록 한다.
• 각 후보 보상 함수에 대해 주관적 할인을 계산하기 위해 이진 탐색을 사용하여 이 지표의 효율적 최적화를 가능하게 한다.
• 상태 기반 보상을 상태 특징의 선형 조합으로 정의함으로써 구조화된 환경로에서의 해석 가능성과 확장성을 확보한다.
• 행동 갭을 높이고 주관적 할인을 낮추는 데 최적화하여 정책 간 명확한 구분과 함께 최소한의 전망 요구 조건을 확보한다.
• 해당 방법을 이용해 격자 세계와 체인 MDP에서 보상 함수를 생성하고, Q-러닝을 통해 누적된 올바른 행동 수를 측정하여 학습 속도를 평가한다.

실험 결과

연구 질문

• RQ1 동일한 최적 정책을 유도하는 다양한 보상 함수는 학습 속도에서 어떻게 다를까?
• RQ2 Q-러닝에서 수렴 속도를 높이는 데 기여하는 보상 함수의 구조적 특성은 무엇인가?
• RQ3 보상 함수의 유효 계획 기간을 측정할 수 있는 지표를 정의하고, 이를 보상 설계 유도에 활용할 수 있는가?
• RQ4 적절하게 설계된 경우, 행동 보상 감소, 보조목표 보상, 조밀한 보상은 학습 속도 향상에 어느 정도 기여하는가?
• RQ5 제안된 최적화 방법은 Q-러닝을 초월해 다른 강화학습 알고리즘에도 일반화 가능한가?

주요 결과

• 모든 행동에 대해 보상 감소를 적용한 보상은 목표만 있는 보상보다 빠른 학습을 이끌어내며, 주관적 할인은 0.9249로 측정되나, 목표만 있는 보상의 경우 잘 정의된 주관적 할인이 존재하지 않는다.
• 선형계획법에 의해 생성된 점진적으로 증가하는 보조목표 보상은 일정한 보조목표 보다 훨씬 낮은 주관적 할인 0.8232를 기록하여 더 빠른 학습을 가능하게 한다.
• 보상 감소와 보상 보상의 조합을 포함한 선형계획법에 의해 생성된 '콤보' 보상은 주관적 할인 0.9238을 기록하여 목표만 있는 보상과 일정한 보조목표 보상보다 뛰어난 성능을 보였다.
• 불규칙하고 비균일한 패턴(예: 음수와 양수 값이 번갈아가며 나타나는)을 가진 조밀한 보상 함수는 매우 낮은 주관적 할인 0.2128을 기록하여 극도로 빠른 학습을 가능하게 했다.
• 근소한 행동 갭(0.0024)을 가진 조밀한 보상은 성능이 열악하여, 모든 조밀한 보상이 유익한 것은 아니며, 설계의 품질이 핵심임을 보여주었다.
• 이 방법의 효과는 Q-러닝에 국한되지 않으며, R-max를 이용한 초도 결과는 이러한 원칙이 다양한 강화학습 알고리즘으로 일반화됨을 시사한다.