[논문 리뷰] Off-Policy Shaping Ensembles in Reinforcement Learning

Anna Harutyunyan, Tim Brys외 2명|arXiv (Cornell University)|2014. 05. 21.

Reinforcement Learning in Robotics참고 문헌 24인용 수 4

한 줄 요약

이 논문은 오프-정책 보상 형태화를 통해 병렬로 다수의 가치 함수를 훈련하는 허드(Horde) 아키텍처를 활용하는 실시간, 수렴 가능한 강화학습 방법인 Off-Policy Shaping Ensembles를 제안한다. 랭크 투표를 통해 정책을 조합함으로써, 이 ensemble은 Mountain Car 환경에서 개별 형태화보다 빠른 학습 속도와 경쟁 가능한 최종 성능을 달성하며, 추가적인 계산 비용 없이도 성능을 높인다.

ABSTRACT

Recent advances of gradient temporal-difference methods allow to learn off-policy multiple value functions in parallel with- out sacrificing convergence guarantees or computational efficiency. This opens up new possibilities for sound ensemble techniques in reinforcement learning. In this work we propose learning an ensemble of policies related through potential-based shaping rewards. The ensemble induces a combination policy by using a voting mechanism on its components. Learning happens in real time, and we empirically show the combination policy to outperform the individual policies of the ensemble.

연구 동기 및 목표

• 추가 샘플 또는 계산 비용 없이 학습 속도를 향상시키는 실시간, 수렴 가능한 오프-정책 정책 앙상블 방법을 개발하는 것.
• 잠재적 학습 환경에서 지식 전파를 가속화하기 위해 다수의 포텐셜 기반 형태화 신호를 사용하는 방법을 탐색하는 것.
• 다수의 형태화된 정책을 실시간으로 하나의 더 효과적인 정책으로 조합하는 투표 기반 메커니즘을 설계하는 것.
• 기존 방법이 종종 수렴하지 못하는 도전적인 오프-정책, 고정 행동 설정에서 접근 방식을 검증하는 것.
• 앙상블 조합이 최고의 개별 형태화 신호와 동일하거나 이를 초월하는 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 기울기 시간차 방법을 사용하여 오프-정책, 고정 행동 설정에서 병렬로 다수의 가치 함수를 학습하기 위해 허드 아키텍처를 활용한다.
• 포텐셜 기반 보상 형태화를 적용하여 각기 다른 가치 함수와 정책을 유도하는 다수의 보조 보상 신호를 생성한다.
• 각 상태에서 앙상블의 정책을 랭크 기반 투표 기반으로 조합하며, 모든 형태화된 정책을 기준으로 누적 랭크를 기반으로 행동을 선택한다.
• Greedy-GQ 및 유사한 기울기 TD 방법을 사용하여 오프-정책 학습에서 수렴성과 계산 효율성을 보장한다.
• 모든 가치 함수 간에 공유된 경험 스트림을 유지함으로써 추가 샘플링 없이도 실시간 온라인 학습을 가능하게 한다.
• 행동 정책가 고정된 잠재 학습 설정에서 앙상블을 훈련함으로써 이론적 수렴 보장을 확보한다.

실험 결과

연구 질문

• RQ1 실시간 오프-정책 강화학습 환경에서 다수의 포텐셜 기반 형태화 신호를 효과적으로 조합할 수 있는가?
• RQ2 형태화된 정책의 투표 기반 앙상블이 학습 속도와 최종 성능 측면에서 개별 형태화된 정책보다 뛰어나게 되는가?
• RQ3 기능 근사가 적용된 오프-정책 학습 환경에서도 이러한 앙상블이 수렴 보장을 유지할 수 있는가?
• RQ4 한 형태화 신호가 다른 것들보다 뚜렷하게 우월할 경우 앙상블은 어떻게 성능을 보이는가?
• RQ5 어느 형태화가 최적인지 사전 지식 없이도 앙상블이 최고의 개별 형태화와 동일하거나 이를 초월하는 성능을 달성할 수 있는가?

주요 결과

• 한 형태화 신호가 뚜렷하게 최고일 경우, 앙상블 조합은 최고의 개별 형태화와 동일한 성능을 보였으며, 최종 누적 수익은 -180.2 ± 1.5로 통계적으로 구분되지 않았다.
• 뚜렷한 최고의 형태화가 없는 경우, 앙상블은 모든 단계에서 모든 개별 형태화보다 뛰어난 성능을 보였으며, 최종 누적 수익은 -180.2 ± 1.5로 가장 열악한 개별 형태화보다 유의미하게 높았다.
• 조합 정책는 어떤 단일 형태화보다 더 빠른 학습 속도를 보였으며, 1000 에피소드 후 누적 수익이 -211.2 ± 94.2에 도달하여 모든 개별 형태화보다 앞서는 성능을 보였다.
• 모든 평가 지점에서 앙상블는 최고의 개별 형태화와 동일하거나 이를 초월하는 성능을 지속적으로 보였으며, 이는 그 견고성과 효과성을 검증한 것이다.
• 우월한 형태화 신호가 없는 상황에서도 투표 기반 메커니즘이 다수 형태화 간의 상호보완적 강점을 효과적으로 식별하고 활용했다.
• 이 방법은 오프-정책 환경에서 허드 프레임워크를 활용하여 실시간, 수렴 가능한 앙상블 학습이 가능하다는 것을 입증하였으며, 추가적인 계산 비용 없이 지식 전파 속도를 가속화할 수 있음을 보였다.