[논문 리뷰] Towards Safe Policy Improvement for Non-Stationary MDPs

Yash Chandak, Scott M. Jordan외 3명|arXiv (Cornell University)|2020. 10. 23.

Reinforcement Learning in Robotics참고 문헌 64인용 수 9

한 줄 요약

이 논문은 환경 동역학이 시간에 따라 부드럽게 변화하는 비정상적인 마르코프 결정 과정(NS-MDP)에서 안전한 정책 개선을 위한 Seldonian 강화 학습 알고리즘인 SPIN을 제안한다. 모델리스 강화 학습과 시계열 분석, 야생 부트스트랩 신뢰구간을 사용한 순차적 가설 검정을 조합함으로써, 제안된 정책이 알려진 안전 정책의 성능 이하로 악화되지 않음을 보장하며, 전체 NS-MDP를 모델링할 필요 없이 높은 신뢰도로 안전성을 확보한다.

ABSTRACT

Many real-world sequential decision-making problems involve critical systems with financial risks and human-life risks. While several works in the past have proposed methods that are safe for deployment, they assume that the underlying problem is stationary. However, many real-world problems of interest exhibit non-stationarity, and when stakes are high, the cost associated with a false stationarity assumption may be unacceptable. We take the first steps towards ensuring safety, with high confidence, for smoothly-varying non-stationary decision problems. Our proposed method extends a type of safe algorithm, called a Seldonian algorithm, through a synthesis of model-free reinforcement learning with time-series analysis. Safety is ensured using sequential hypothesis testing of a policy's forecasted performance, and confidence intervals are obtained using wild bootstrap.

연구 동기 및 목표

• 실제 비정상적인 순차적 의사결정 문제에서 고위험 요소를 수반하는 강화 학습에 대한 안전 보장의 부족을 해결하기 위해.
• 환경의 기저 동역학이 시간에 따라 부드럽게 변화하는 비정상적인 마르코프 결정 과정(NS-MDP)에서 안전한 정책 개선 문제를 정식화하기 위해.
• 환경이 비정상적일 경우에도 제안된 정책이 알려진 안전 정책보다 성능이 열 劣하지 않음을 보장하는 알고리즘을 개발하기 위해.
• 사용자가 설정한 임계값 이하로 나쁜 정책을 배포할 확률을 제한할 수 있는 사용자 제어 가능한 신뢰도 노브를 제공하기 위해.
• 일반적으로 실용적으로 구현이 어려운 전체 NS-MDP 모델링이 필요 없도록 하기 위해.

제안 방법

• 후보 정책의 예측 성능를 알려진 안전 정책과 비교하기 위해 순차적 가설 검정을 사용하여 Seldonian 알고리즘을 비정상적 환경에 확장한다.
• 미래 성능 추정에 대한 신뢰구간을 구축하기 위해 야생 부트스트랩 재표본 추출을 사용하여 비정상성 하에서도 강인한 통계적 추론을 가능하게 한다.
• 과거 수익의 시계열 모델링을 통한 반사적 성능 추정을 사용하여 정책의 미래 성능 추세를 예측한다.
• 비정책 평가를 위해 중요도 샘플링을 적용하지만, 고분산의 가능성을 인정한다.
• 후보 정책의 성능가 안전 정책의 성능보다 신뢰구간 내에서 통계적으로 뛰어나야만 업데이트되는 정책 개선 루프를 구현한다.
• 성능 추세를 모델링하기 위해 다양한 차원의 푸리에 기저 함수를 사용하며, 근사 정확도에 대한 민감도 분석을 수행한다.

실험 결과

연구 질문

• RQ1 환경 동역학이 시간에 따라 부드럽게 변화하는 비정상적인 MDP에서 정책 개선에 대해 높은 신뢰도의 안전성을 확보할 수 있는가?
• RQ2 기저 비정상적인 MDP를 명시적으로 모델링할 필요 없이 안전 보장을 유지할 수 있는가?
• RQ3 비정상성 조건 하에서도 제안된 정책이 알려진 안전 정책보다 성능이 열 劣하지 않도록 보장할 수 있는가?
• RQ4 실제 실용적 환경에서 하이퍼파라미터 설정에 대한 안전 보장이 얼마나 강인한가?
• RQ5 야생 부트스트랩 신뢰구간의 사용이 비정상성 하에서 성능 추정의 신뢰성에 얼마나 기여하는가?

주요 결과

• SPIN은 추천 시스템(RecoSys) 및 당뇨병 치료 도메인에서 모두 안전성을 유지하며, 그림 4의 왼쪽 하단 플롯에서 볼 수 있듯이 나쁜 정책 배포가 극히 드물게 발생한다.
• 두 도메인 모두에서 기준 안전 정책보다 유의미한 성능 향상을 달성하였으며, 그림 4의 오른쪽 상단 및 오른쪽 상단 플롯에서 나타나듯이 정규화된 향상률이 항상 0 이상으로 유지된다.
• 실제 범위의 넓은 하이퍼파라미터 범위에서 조정해도 SPIN은 안전성을 유지하며, 사용자 설정에 대한 강건성을 보여준다.
• 고분산이 알려진 중요도 샘플링을 사용하고도 야생 부트스트랩을 통한 신뢰구간 추정 덕분에 알고리즘이 안전 보장을 유지한다.
• 실제 성능 추세를 정확히 모델링할 수 없는 경우(예: 푸리에 기저의 차원 제한으로 인한 모델 불일치)에도 효과적이며, 모델 불일치 하에서도 실용적인 적용 가능성을 보여준다.
• 평가 절차는 비안전 정책의 수익 표본 평균을 안전 정책의 수익과 비교하고, 배포 빈도에 따라 가중치를 적용함으로써 잘못된 배포를 올바르게 식별한다.