[논문 리뷰] Distributionally Robust Reinforcement Learning

Elena Smirnova, Elvis Dohmatob외 1명|arXiv (Cornell University)|2019. 02. 23.

Reinforcement Learning in Robotics참고 문헌 73인용 수 18

한 줄 요약

이 논문은 추정 오차 하에서 상태가치의 하한 보장을 제공함으로써 탐색 중 안전성을 향상시키는 분포로 불안정한 강화학습 프레임워크를 제안한다. 재가중된 행동 확률을 사용하는 계산 가능성이 높은 정책 반복 기법을 도입하고, DR-SAC를 통해 연속 제어에 이를 확장하여 단기적으로는 보수적인 행동을, 장기적으로는 낙관적인 탐색을 균형 있게 조절함으로써 학습 분산을 크게 줄이고 평균 성능를 유지한다.

ABSTRACT

Real-world applications require RL algorithms to act safely. During learning process, it is likely that the agent executes sub-optimal actions that may lead to unsafe/poor states of the system. Exploration is particularly brittle in high-dimensional state/action space due to increased number of low-performing actions. In this work, we consider risk-averse exploration in approximate RL setting. To ensure safety during learning, we propose the distributionally robust policy iteration scheme that provides lower bound guarantee on state-values. Our approach induces a dynamic level of risk to prevent poor decisions and yet preserves the convergence to the optimal policy. Our formulation results in a efficient algorithm that accounts for a simple re-weighting of policy actions in the standard policy iteration scheme. We extend our approach to continuous state/action space and present a practical algorithm, distributionally robust soft actor-critic, that implements a different exploration strategy: it acts conservatively at short-term and it explores optimistically in a long-run. We provide promising experimental results on continuous control tasks.

연구 동기 및 목표

• 정책 평가에서의 추정 오차로 인한 근사 강화학습에서의 치명적인 결과의 위험을 해결하기 위해.
• 유한 샘플 추정 오차가 존재하는 상황에서도 최적 정책 수렴을 유지하는 계산 가능성이 높은 위험 회피 정책 반복 기법을 개발하기 위해.
• 최소한의 계산 오버헤드로 연속 상태 및 행동 공간에 프레임워크를 효과적으로 확장하기 위해.
• 단기적으로는 보수적이며 장기적으로는 낙관적인 혼합 탐색 전략을 설계하여 안전성과 수렴성을 보장하기 위해.
• 연속 제어 벤치마크에서 방법을 경험적으로 검증하여 학습 안정성 향상과 분산 감소를 입증하기 위해.

제안 방법

• 유한 샘플 추정 오차 하에서 정책 상태가치에 하한 보장을 제공하는 분포로 불안정한 벨만 연산자 가족을 도입한다.
• 레전드르-펜클 변환을 사용하여 강력한 정책 평가 단계를 정책 행동 확률의 재가중화로 재구성함으로써 효율적인 계산을 가능하게 한다.
• 강력한 정책 반복 기법을 최대 엔트로피 정책에 적용하여 단기적으로는 위험 회피적이며 장기적으로는 낙관적인 탐색 전략을 도출한다.
• 상수 시간 조정을 통해 보상 함수를 수정하는 연속 공간 확장을 유도하여 연속 제어에서의 효율적 구현을 가능하게 한다.
• 분포로 불안정한 평가와 소프트 액터-크리틱의 낙관적 탐색 메커니즘을 결합한 실용적인 알고리즘인 DR-SAC을 제안한다.
• 학습 중 국소 추정 오차를 추정하기 위해 각 상태 방문 횟수 추적을 위한 상태 이산화를 활용한다.

실험 결과

연구 질문

• RQ1 유한 샘플 추정 오차 하에서 근사 강화학습에서 분포로 불안정한 정책 반복 기법이 상태가치에 하한 보장을 제공할 수 있는가?
• RQ2 최적 정책 수렴을 희생시키지 않고 위험 회피 탐색을 정책 반복에 통합할 수 있는가?
• RQ3 제안된 강력한 프레임워크를 연속 상태 및 행동 공간으로 효율적으로 확장할 수 있는가?
• RQ4 결과로 도출된 알고리즘이 연속 제어 과제에서 표준 SAC에 비해 더 높은 학습 안정성과 낮은 분산을 달성하는가?
• RQ5 보수적인 단기 탐색과 낙관적인 장기 탐색을 조합한 전략이 분포로 불안정성에 의해 효과적으로 구현될 수 있는가?

주요 결과

• DR-SAC는 Hopper에서 성과 표준편차를 76% 감소시키고, Walker2D에서는 78% 감소시켜 성능 분산이 크게 줄어든 것으로 나타났다.
• 에피소드 길이의 표준편차는 Hopper에서 76%, Walker2D에서 77% 감소하여 더 안정적이고 예측 가능한 행동을 보였다.
• 평균 수익과 에피소드 길이는 SAC와 통계적으로 유의미하게 다를 바 없었으며, 안전성 향상이 성능 손실을 동반하지 않았음을 확인했다.
• 학습 곡선 분석에서 DR-SAC는 수익과 에피소드 길이 양측 모두에서 뚜렷이 감소한 분산을 보였고, 여러 랜덤 시드에 걸쳐 더 좁은 신뢰구간을 유지했다.
• 비디오 시연 결과 DR-SAC 정책는 더 천천가고 부드럽게 움직이는 경향을 보여 안정적이고 안전한 행동임을 확인했다.
• 이론적 분석과 경험적 결과를 통해 최적 정책 수렴을 유지하면서도 안전 보장을 확보한 것으로 검증되었다.