[논문 리뷰] Off-Policy Reward Shaping with Ensembles

Anna Harutyunyan, Tim Brys외 2명|arXiv (Cornell University)|2015. 02. 11.

Reinforcement Learning in Robotics참고 문헌 31인용 수 4

한 줄 요약

이 논문은 여러 히ュ리스틱과 스케일링 인자로 훈련된 정책의 앙상블을 사용하여 오프-폴리시 리워드 샤플링 프레임워크를 제안한다. 이는 효율적인 오프-폴리시 학습을 위해 Horde 아키텍처를 활용한다. 앙상블은 수동으로 히ュ리스틱과 스케일을 튜닝할 필요 없이 동적으로 가장 성능이 좋은 정책을 투표하여 선택함으로써 개별적으로 샤플링된 정책 및 최적 튜닝된 구성 요소를 능가한다. 이와 동시에 수렴 보장을 유지하고 샘플 효율성을 향상시킨다.

ABSTRACT

Potential-based reward shaping (PBRS) is an effective and popular technique to speed up reinforcement learning by leveraging domain knowledge. While PBRS is proven to always preserve optimal policies, its effect on learning speed is determined by the quality of its potential function, which, in turn, depends on both the underlying heuristic and the scale. Knowing which heuristic will prove effective requires testing the options beforehand, and determining the appropriate scale requires tuning, both of which introduce additional sample complexity. We formulate a PBRS framework that reduces learning speed, but does not incur extra sample complexity. For this, we propose to simultaneously learn an ensemble of policies, shaped w.r.t. many heuristics and on a range of scales. The target policy is then obtained by voting. The ensemble needs to be able to efficiently and reliably learn off-policy: requirements fulfilled by the recent Horde architecture, which we take as our basis. We demonstrate empirically that (1) our ensemble policy outperforms both the base policy, and its single-heuristic components, and (2) an ensemble over a general range of scales performs at least as well as one with optimally tuned components.

연구 동기 및 목표

• 기본 기반 리워드 샤플링(PBRS)에서 히ュ리스틱 선택과 스케일링에 의해 유도되는 높은 샘플 복잡도 문제를 해결한다.
• 탐색을 제어할 수 없는 잠재적 오프-폴리시 환경에서 효과적인 리워드 샤플링을 가능하게 한다.
• 각 히ュ리스틱의 효과성이나 최적 스케일에 대한 사전 지식이 없더라도 도메인 지식을 다양한 히ュ리스틱을 통해 활용할 수 있는 프레임워크를 개발한다.
• Horde 아키텍처의 오프-폴리시 학습 보장을 기반으로 수렴성과 계산 효율성을 보장한다.
• 앙상블 투표가 개별적으로 샤플링된 정책와 최적 튜닝된 구성 요소를 모두 능가할 수 있음을 입증한다.

제안 방법

• 동일한 경험 데이터를 사용하여, 각각 다른 히ュ리스틱과 스케일링 인자에서 유도된 잠재 함수로 샤플링된 다양한 정책의 앙상블을 훈련한다.
• 수렴 보장을 위해 고정된 행동 정책 하에서 작동하는 Horde 아키텍처를 기반 오프-폴리시 학습 엔진으로 사용한다.
• 앙상블 구성원들을 하나의 타겟 정책으로 통합하기 위해 투표 메커니즘을 적용하며, 집단적 성능에 기반해 행동을 선택한다.
• 컴퓨터적 오버헤드를 줄이기 위해 데몬 간에 공유된 파라미터 세트를 유지하면서 효율적인 오프-폴리시 학습을 가능하게 한다.
• 초기화된 하이퍼파라미터 튜닝이 필요 없도록 스케일링 인자 범위를 넓게(1에서 10⁴까지) 설정하여 정확도를 평가한다.
• 100개의 독립적인 실행에서 매 50 에피소드마다 평가를 수행하여 벤치마크 환경에서 통계적 신뢰성을 확보한다.

실험 결과

연구 질문

• RQ1 다양한 히ュ리스틱과 스케일링 인자를 사용해 샤플링된 정책의 앙상블이 추가적인 샘플 복잡도 없이 단일 샤플링 정책을 능가할 수 있는가?
• RQ2 행동 정책가 고정된 잠재적 오프-폴리시 환경에서도 앙상블 프레임워크가 수렴 보장을 유지하는가?
• RQ3 사전 튜닝 없이 앙상블이 가장 효과적인 히ュ리스틱과 스케일을 동적으로 식별하고 따를 수 있는가?
• RQ4 광범위한 스케일 범위를 사용하는 앙상블과 최적 튜닝된 구성 요소를 사용하는 경우의 성능는 어떻게 다를까?
• RQ5 다양한 샤플링된 정책 간의 투표가 가장 우수한 단일 구성 요소에 의존하는 것보다 학습 속도를 높일 수 있는가?

주요 결과

• 전역 앙상블 $E_C$ 는 베이스 러닝러와 모든 개별 샤플링 구성 요소를 모두 능가하여, 다양한 히ュ리스틱과 스케일을 조합하는 것이 효과적임을 입증한다.
• 앙상블의 성능는 $E^1_C$ — 최고 성능을 보인 단일 히ュ리스틱 앙상블과 동일하여, 앙상블이 가장 효과적인 히ュ리스틱을 성공적으로 식별하고 활용했다는 것을 나타낸다.
• 광범위한 스케일링 범위를 사용한 앙상블의 성능는 최적 튜닝된 구성 요소를 사용한 경우와 동등하거나 이를 초월하여, 사전 하이퍼파라미터 튜닝이 필요 없음을 입증한다.
• 장기적으로 $E_C$ 의 성능는 더 효과적인 첫 번째 샤플링($\theta_1$)을 따라가며, 투표 메커니즘이 우수한 히ュ리스틱을 정확히 우선시했음을 보여준다.
• 앙상블은 구성 요소들의 평균 성능를 항상 능가하여, 집단적 의사결정이 개인의 기여를 초월해 학습을 향상시킨다는 것을 보여준다.
• 이 프레임워크는 고비용 실패가 발생할 수 있는 실제 응용 분야에서 효과적인 PBRS를 가능하게 하여, 잠재적 오프-폴리시 환경에서의 실용성을 검증했다.