[논문 리뷰] Reinforcement learning with non-ergodic reward increments: robustness via ergodicity transformations

Dominik Baumann, Erfaun Noorani외 4명|arXiv (Cornell University)|2023. 10. 17.

Auction Theory and ApplicationsDecision Sciences인용 수 3

한 줄 요약

이 논문은 강화학습에서 비에르고디시티(non-ergodicity) 문제를 해결하기 위해 에르고딕성 변환을 제안한다. 예측된 수익을 최적화할 경우 비안정한 정책이 도출되는 상황을 다루며, 상태에 따라 변환하는 함수를 학습하여 수익 증분을 에르고딕성 있게 만들고, 시간 평균 최적화를 통해 안정적인 정책 학습을 가능하게 한다. 이는 Reacher와 같은 도전적인 벤치마크에서 표준 강화학습보다 뛰어난 성능을 보인다.

ABSTRACT

Envisioned application areas for reinforcement learning (RL) include autonomous driving, precision agriculture, and finance, which all require RL agents to make decisions in the real world. A significant challenge hindering the adoption of RL methods in these domains is the non-robustness of conventional algorithms. In particular, the focus of RL is typically on the expected value of the return. The expected value is the average over the statistical ensemble of infinitely many trajectories, which can be uninformative about the performance of the average individual. For instance, when we have a heavy-tailed return distribution, the ensemble average can be dominated by rare extreme events. Consequently, optimizing the expected value can lead to policies that yield exceptionally high returns with a probability that approaches zero but almost surely result in catastrophic outcomes in single long trajectories. In this paper, we develop an algorithm that lets RL agents optimize the long-term performance of individual trajectories. The algorithm enables the agents to learn robust policies, which we show in an instructive example with a heavy-tailed return distribution and standard RL benchmarks. The key element of the algorithm is a transformation that we learn from data. This transformation turns the time series of collected returns into one for whose increments expected value and the average over a long trajectory coincide. Optimizing these increments results in robust policies.

연구 동기 및 목표

• 비에르고딕 환경에서 기대 수익 최적화로 인해 발생하는 전통적 강화학습 알고리즘의 비안정성 문제를 해결하기 위해.
• 실제 응용에서 집단 평균 기대 수익보다 단일 장기 궤적의 시간 평균 성능이 더 적절한 목표임을 보여주기 위해.
• 비에르고딕 수익을 에르고딕 증분으로 변환하는 데이터 기반 방법을 개발하기 위해.
• 기존 강화학습 알고리즘의 전체 재설계 없이도 변환된 수익 최적화가 안정적인 정책 학습을 가능하게 함을 보여주기 위해.
• 심리학적 가정이 아닌 통계역학 원리에 기반한 위험 감수성 강화학습 변환에 대한 이론적 기반을 제공하기 위해.

제안 방법

• 수집된 수익 궤적에서 비에르고딕 증분을 에르고딕하게 만드는 변환 함수를 학습하는 방법이다.
• 딥러닝 네트워크를 사용해 원시 수익을 변환된 값으로 매핑함으로써, 결과적으로 에르고딕성을 유지하는 증분을 확보한다.
• 알고리즘은 변환된 수익을 사용해 REINFORCE나 PPO를 통해 정책 파라미터를 갱신하며, 장기적인 시간 평균 성장률을 최적화한다.
• 환경의 동역학에 대한 사전 지식 없이도 궤적 데이터를 활용해 에르고딕성 유지 변환을 추정한다.
• 수집된 수익에 대해 사후적으로 변환을 적용함으로써 기존의 온-폴리시 및 오프-폴리시 강화학습 알고리즘과 통합 가능하다.
• 표준 강화학습 벤치마크(예: Cart-Pole 및 Reacher)에서 검증되었으며, 에피소드 길이와 정책 성공률에 대한 아블레이션 분석도 수행되었다.

실험 결과

연구 질문

• RQ1 에르고딕성 변환은 비에르고딕 환경에서 강화학습 정책의 안정성을 향상시킬 수 있는가?
• RQ2 에르고딕성 변환을 통해 시간 평균 수익을 최적화하면 기대 수익 최적화보다 더 나은 장기 성능을 달성할 수 있는가?
• RQ3 원래 수익이 비에르고딕일지라도, 데이터 기반 변환을 통해 수익 증분을 에르고딕성 있게 만들 수 있는가?
• RQ4 제안된 방법은 표준 강화학습 및 위험 감수성 강화학습 기준선 대비 정책의 안정성과 성공률 측면에서 어떻게 비교되는가?
• RQ5 에르고딕성 변환은 심리학적 가정이 아닌 통계역학에 기반한 이론적 근거를 지닌, 유틸리티나 위험 측정 기반의 대안이 될 수 있는가?

주요 결과

• Cart-Pole 환경에서는, 100단계 에피소드로 훈련했음에도 불구하고 테스트 시 200단계 동안 표준 REINFORCE보다 약간 더 높은 수익을 기록한 에르고딕성 변환된 REINFORCE 에이전트를 관찰했다.
• 더 도전적인 Reacher 환경에서는 오직 에르고딕성 변환된 REINFORCE 에이전트만 성공적인 정책을 학습했고, 표준 REINFORCE 에이전트는 수렴하지 못했다.
• 제안된 방법은 비에르고딕 수익 시계열을 에르고딕 증분을 갖는 것으로 성공적으로 변환하여, 시간 평균 최적화를 통한 안정적인 정책 학습을 가능하게 하였다.
• 기존 강화학습 알고리즘의 수정 없이도 표준 벤치마크에서 성능 향상을 이룩했으며, 이는 기존 프레임워크와의 호환성을 보여주었다.
• 결과는 수익의 비에르고딕성이 기대값 최적화 시 비안정한 정책을 유도할 수 있으며, 에르고딕성 변환이 이 문제를 완화시킬 수 있음을 지지한다.
• 이 방법은 실세계 강화학습 응용에서 집단 평균 목표를 시간 평균 목표로 대체하기 위한 이론적 및 실증적 기반을 제공한다.