[논문 리뷰] Unpacking Reward Shaping: Understanding the Benefits of Reward Engineering on Sample Complexity

Abhishek Gupta, Aldo Pacchiano외 3명|arXiv (Cornell University)|2022. 10. 18.

Software Engineering Research인용 수 12

한 줄 요약

이 논문은 샘플 효율성을 향상시키기 위해 낙관주의 기반 탐색에 보상 형상화를 통합한 강화학습 알고리즘인 UCBVI-Shaped을 제안한다. 최적 가치 함수의 곱셈적 근사(β로 유계)를 활용함으로써, 적응적 보너스 감쇠와 가치 투영을 통해 빠른 수렴을 가능하게 하며, 상태 공간과 시간 간격에 의존하는 복잡도 항목에서 증명 가능한 성능 향상을 보여준다. 이는 점점 더 나아지는 성능를 유지한다.

ABSTRACT

Reinforcement learning provides an automated framework for learning behaviors from high-level reward specifications, but in practice the choice of reward function can be crucial for good results -- while in principle the reward only needs to specify what the task is, in reality practitioners often need to design more detailed rewards that provide the agent with some hints about how the task should be completed. The idea of this type of ``reward-shaping'' has been often discussed in the literature, and is often a critical part of practical applications, but there is relatively little formal characterization of how the choice of reward shaping can yield benefits in sample complexity. In this work, we build on the framework of novelty-based exploration to provide a simple scheme for incorporating shaped rewards into RL along with an analysis tool to show that particular choices of reward shaping provably improve sample efficiency. We characterize the class of problems where these gains are expected to be significant and show how this can be connected to practical algorithms in the literature. We confirm that these results hold in practice in an experimental evaluation, providing an insight into the mechanisms through which reward shaping can significantly improve the complexity of reinforcement learning while retaining asymptotic performance.

연구 동기 및 목표

• 보상 형상화가 강화학습에서 샘플 효율성을 어떻게 향상시키는지 공식적으로 분석하는 것, 특히 난이도가 높아 탐색이 비현실적인 경우에 중점을 둔다.
• 실제로 널리 사용되지만 공식적인 정당성이 부족한 보상 형상화에 대한 이론적 이해의 격차를 메우는 것.
• 형상화된 보상을 낙관주의 기반 탐색에 통합한 원칙적인 알고리즘인 UCBVI-Shaped를 개발하여 증명 가능한 복잡도 이점을 제공하는 것.
• 특히 고차원 또는 희박한 보상 환경에서 보상 형상화가 샘플 복잡도에 상당한 기여를 하는 조건을 규명하는 것.

제안 방법

• 보너스 스케일링과 가치 투영을 통해 형상화된 보상을 통합한 UCBVI의 변종인 UCBVI-Shaped를 도입한다.
• 형상화된 보상 항목 eV가 모든 상태 s에 대해 eV(s) ≤ V⋆(s) ≤ β eV(s)를 만족하도록 최적 가치 함수 V⋆를 곱셈적으로 유계로 둔다.
• 표준 카운트 기반 탐색 보너스 1/√Nh(s,a)를 형상화된 보상 eV(s)로 재가중하여 보너스 감쇠를 가속화하면서도 낙관주의를 유지한다.
• 학습된 Q-함수의 범위를 형상화된 가치 함수 범위 내로 제약하는 가치 투영을 구현함으로써 과도한 낙관주의를 방지하고 수렴 속도를 가속화한다.
• β-샌드위치 조건 하에서의 리그레트 한계를 분석하여, 샘플 복잡도가 시간 간격 H와 상태 공간 크기 |S|에 대한 의존도를 줄임으로써 향상됨을 보여준다.
• 형상화된 보상이 이용 가능한 환경(예: 미로, 시뮬레이션에서 실제 환경으로의 전이, 물체 조작 작업 등)에서 이론적 주장의 타당성을 실증적으로 검증한다.

실험 결과

연구 질문

• RQ1 보상 형상화가 경험적 관찰을 넘어서 강화학습에서 샘플 복잡도를 증명 가능한 방식으로 감소시킬 수 있는가?
• RQ2 최적 가치 함수를 근사하는 형상화된 보상이 낙관주의 기반 강화학습 알고리즘의 수렴 속도에 어떻게 영향을 주는가?
• RQ3 형상화된 강화학습에서 개선된 샘플 효율성을 가능하게 하는 구조적 구성 요소—보너스 스케일링과 가치 투영—는 무엇인가?
• RQ4 어떤 유형의 환경에서 보상 형상화가 샘플 복잡도 향상에 가장 뚜렷한 기여를 하는가?
• RQ5 UCBVI-Shaped에서의 적응적 보너스 감쇠는 선형적으로 보상을 더하는 것과 비교해 열악한 형상화에 의한 악영향을 어떻게 완화하는가?

주요 결과

• UCBVI-Shaped는 최적 가치 함수의 곱셈적 유계 β를 갖는 형상화된 보상으로 인해 시간 간격 H와 상태 공간 크기 |S|에 대한 의존도를 줄여 증명 가능한 샘플 복잡도 향상을 달성한다.
• 보너스 스케일링 메커니즘은 보너스가 더 빨리 감쇠하면서도 충분한 낙관주의를 유지함으로써 상태 공간의 더 효율적인 커버리지가 가능해진다.
• 가치 투영은 학습된 Q-함수의 범위를 제약함으로써 과도한 낙관주의를 방지하고 수렴 속도를 가속화하며, 열악한 행동의 조기 제거를 가능하게 한다.
• 실증 결과로 UCBVI-Shaped는 표준 형상화 보상 방법이 선형적으로 eV를 더하는 것과 달리, 열악한 형상화 조건에서도 열악한 정책에 갇히지 않고 성능을 유지함을 보여준다.
• 미로, 시뮬레이션에서 실제 환경으로의 전이, 물체 조작 등의 환경에서 이 방법은 상태 공간의 상당 부분을 효과적으로 제거함으로써 실용적인 샘플 효율성 향상을 입증한다.
• 알고리즘은 점점 더 나아지는 성능를 유지하면서도 학습 속도를 크게 향상시켜, 형상화가 최종 정책 품질을 손상시키지 않고 효율성을 향상시킨다는 점을 검증한다.