[논문 리뷰] Cumulative Prospect Theory Meets Reinforcement Learning: Prediction and Control

L. A. Prashanth, Jie Cheng외 3명|arXiv (Cornell University)|2015. 06. 08.

Traffic control and management참고 문헌 52인용 수 47

한 줄 요약

이 논문은 누적망설이론(CPT)을 강화학습에 통합하기 위해 시뮬레이션 기반 확률적 근사법을 사용하는 CPT 기반의 가치 추정 및 최적화 프레임워크를 제안한다. 분포 추정 방식과 SPSA 기반 알고리즘을 도입하였으며, 이는 이론적 수렴 보장을 제공하며, 교통 신호 최적화와 같은 위험 감수성 제어 과제에서 향상된 성능을 보여준다.

ABSTRACT

Cumulative prospect theory (CPT) is known to model human decisions well, with substantial empirical evidence supporting this claim. CPT works by distorting probabilities and is more general than the classic expected utility and coherent risk measures. We bring this idea to a risk-sensitive reinforcement learning (RL) setting and design algorithms for both estimation and control. The RL setting presents two particular challenges when CPT is applied: estimating the CPT objective requires estimations of the entire distribution of the value function and finding a randomized optimal policy. The estimation scheme that we propose uses the empirical distribution to estimate the CPT-value of a random variable. We then use this scheme in the inner loop of a CPT-value optimization procedure that is based on the well-known simulation optimization idea of simultaneous perturbation stochastic approximation (SPSA). We provide theoretical convergence guarantees for all the proposed algorithms and also illustrate the usefulness of CPT-based criteria in a traffic signal control application.

연구 동기 및 목표

• 인간의 불확실성 하에서의 의사결정을 확률 왜곡으로 모델링하는 누적망설이론(CPT)을 통합하여 강화학습을 위험 감수성 설정으로 확장한다.
• 강화학습에서 랜덤 변수의 CPT 가치를 추정하는 과제를 해결한다. 이는 기대값 추정을 넘어서 전체 분포 추정이 필요하다는 점에서 도전 과제이다.
• 확률적 최적 정책이 필요한 요구사항을 처리할 수 있는 실용적인 CPT 기반 제어 알고리즘 프레임워크를 개발한다.
• CPT 기준 하에서 가치 추정 및 정책 최적화에 대한 이론적 수렴 보장을 제공한다.
• 실제 응용 분야에서 CPT 기반 강화학습의 경험적 유용성을 입증한다. 예를 들어, 교통 신호 제어와 같은 분야에서의 적용을 포함한다.

제안 방법

• 수익의 경험적 분포를 사용하여 랜덤 변수의 CPT 가치를 추정함으로써, 강화학습에서 분포 추정을 가능하게 한다.
• 동시 섭동 확률적 근사(SPSA)를 내부 루프에 적용하여 CPT 목표를 최적화함으로써, 기울기 기반 정책 학습 없이도 정책 학습을 가능하게 한다.
• 이중 레벨 최적화 절차를 설계한다: 내부 루프는 경험적 분포를 사용하여 CPT 가치를 추정하고, 외부 루프는 SPSA를 통해 정책 파라미터를 업데이트한다.
• CPT에 내재된 비선형적 확률 가중치를 반영하기 위해 확률적 정책 표현을 설계한다.
• CPT 목표 함수의 비볼록성 및 비연속성 문제를 다루기 위해 시뮬레이션 기반 접근법을 활용한다.
• 약한 정규성 조건 하에서 가치 추정 및 정책 최적화 절차에 대한 이론적 수렴 증명을 제공한다.

실험 결과

연구 질문

• RQ1 누적망설이론은 위험 감수성 의사결정을 위한 강화학습에 효과적으로 적용될 수 있는가?
• RQ2 제한된 데이터에서 분포 기반 강화학습 환경에서 랜덤 변수의 CPT 가치는 어떻게 추정할 수 있는가?
• RQ3 스토케스틱이고 비연속적인 환경에서 CPT 목표를 최대화하기 위해 적합한 최적화 알고리즘이 무엇인가?
• RQ4 실제 제어 과제에서 CPT 기반 강화학습은 기대 utility 기반 강화학습과 비교해 성능 및 내구성 면에서 어떻게 다른가?
• RQ5 강화학습에서 CPT 기반 가치 추정 및 정책 최적화에 대해 어떤 이론적 보장을 확보할 수 있는가?

주요 결과

• 경험적 분포 기반으로 제안된 CPT 가치 추정 방식은 시뮬레이션에서 CPT 목표의 일관되고 안정적인 추정을 달성한다.
• SPSA 기반 최적화 알고리즘은 표준 가정 하에 이론적 보장 하에 CPT 목표의 정류점에 수렴한다.
• 이 방법은 CPT의 확률 가중치 효과를 반영하는 확률적 정책을 성공적으로 학습하여 위험 감수성 행동을 가능하게 한다.
• 교통 신호 제어 응용 사례에서 CPT 기반 강화학습 접근법은 평균 지연을 줄이고 교통 변동성에 대한 내구성을 향상시켜 기대 utility 기반 강화학습을 능가한다.
• 알고리즘이 실제 제어 시나리오에서 실용적 타당성과 효과성을 입증하며, 위험 감수성 강화학습에서 CPT의 유용성을 검증한다.