[논문 리뷰] Situational Awareness by Risk-Conscious Skills

Daniel J. Mankowitz, Aviv Tamar외 1명|arXiv (Cornell University)|2016. 10. 10.

Reinforcement Learning in Robotics참고 문헌 28인용 수 3

한 줄 요약

이 논문은 확률적 목표 반마르코프 결정 과정(PG-SMDP)에서 위험 감수성 목적을 최적화함으로써 위험 인지 기술을 학습하는 새로운 계층적 강화 학습 알고리즘인 SARiCoS를 소개한다. 이 알고리즘은 축구에서 시간 낭비와 같은 인간 같은 상황 인식을 가능하게 하며, 보상 기반 모델 부정확성 문제를 효과적으로 완화하고 승리 및 패배 상황에서 모두 뛰어난 성능을 달성한다.

ABSTRACT

Hierarchical Reinforcement Learning has been previously shown to speed up the convergence rate of RL planning algorithms as well as mitigate feature-based model misspecification (Mankowitz et. al. 2016a,b, Bacon 2015). To do so, it utilizes hierarchical abstractions, also known as skills -- a type of temporally extended action (Sutton et. al. 1999) to plan at a higher level, abstracting away from the lower-level details. We incorporate risk sensitivity, also referred to as Situational Awareness (SA), into hierarchical RL for the first time by defining and learning risk aware skills in a Probabilistic Goal Semi-Markov Decision Process (PG-SMDP). This is achieved using our novel Situational Awareness by Risk-Conscious Skills (SARiCoS) algorithm which comes with a theoretical convergence guarantee. We show in a RoboCup soccer domain that the learned risk aware skills exhibit complex human behaviors such as `time-wasting' in a soccer game. In addition, the learned risk aware skills are able to mitigate reward-based model misspecification.

연구 동기 및 목표

• 계층적 강화 학습(H-RL)에서의 위험 감수성 부족 문제를 해결하고, 특히 보상 기반 모델 부정확성 문제를 완화하기 위해.
• 시간 또는 공간에 따라 위험 태도가 달라지는 상황 인식(SA)을 위험 감수성 목적 함수를 통해 H-RL에 통합하기 위해.
• 위험 회피 또는 위험 유도 행동과 같은 다양한 위험 태도를 가진 위험 인지 기술(RASs)의 학습을 가능하게 하는 프레임워크를 개발하기 위해.
• PG-SMDP 환경에서 상위 기술 정책과 RASs의 위험 인지 파라미터(RAPs)를 동시에 학습하는 알고리즘을 설계하기 위해.
• 위험 인지 기술 학습이 로보컵 축구와 같은 동적 환경에서 시간 낭비와 같은 복잡한 인간 같은 행동을 유도할 수 있음을 입증하기 위해.

제안 방법

• 이 논문은 시간과 위험에 따라 목적 함수가 달라지는 작업을 모델링하기 위해 확률적 목표 반마르코프 결정 과정(PG-SMDP)을 제안한다.
• 위험 인지 기술(RASs)을 도입하며, 이는 추가적인 위험 인지 파라미터(RAP)를 가진 파rameterized 옵션으로, 위험 태도를 제어할 수 있다.
• SARiCoS 알고리즘은 조건부가치의위험(CVaR)과 같은 위험 감수성 목적 함수를 최적화하여 상위 기술 정책과 RASs의 RAPs를 동시에 학습한다.
• 정책 기반 방법의 표준 가정 하에 이 알고리즘은 국소 최적 해로 수렴함이 이론적으로 보장된다.
• 이 프레임워크는 지수적 위험, CVaR, VaR와 같은 다양한 위험 기준을 유연하게 수용할 수 있어 다양한 위험 선호도에 적응할 수 있다.
• 이 방법은 로보컵 축구 환경에서 평가되었으며, 게임 상태와 위험 감수성에 따라 공격 행동과 시간 낭비 행동을 전환하는 것을 학습한다.

실험 결과

연구 질문

• RQ1 계층적 강화 학습에서 위험 감수성 목적 함수가 축구 게임에서 시간 낭비와 같은 인간 같은 복잡한 행동을 유도할 수 있는가?
• RQ2 위험 인지 기술 학습은 잘못된 보상 설계로 인해 최적의 정책이 도출되지 않는 보상 기반 모델 부정확성 문제를 완화할 수 있는가?
• RQ3 CVaR와 같은 위험 감수성 목적 함수를 최적화함으로써 기대 수익 최대화보다 더 강건하고 맥락에 적합한 전략을 학습할 수 있는가?
• RQ4 동일한 프레임워크가 게임 잔여 시간과 같은 작업 상태에 따라 위험 회피형과 위험 유도형과 같은 다양한 위험 태도를 지원할 수 있는가?
• RQ5 PG-SMDP 기반 계층적 강화 학습 환경에서 위험 인지 기술 학습에 대한 이론적 수렴 보장이 존재하는가?

주요 결과

• 승리 상황에서는 SARiCoS 에이전트가 느리게 드리블하고 공을 차지하며 시간 낭비 행동을 학습하여 평균 에피소드 길이가 142.3 ± 1.5 단계를 기록했다.
• 승리 상황에서 SARiCoS 에이전트는 평균 1.3 ± 0.6 골을 기록했지만, 상대 팀이 공을 탈취하는 경우는 100 에피소드당 평균 7.3 ± 0.6회 뿐이었으며, 이는 효과적인 위험 회피 행동을 보여준다.
• 패배 상황에서는 SARiCoS 에이전트가 평균 74.3 ± 6.5 골을 기록하고 평균 보상이 6.3 ± 0.2를 기록했으며, 이는 기대 수익(ER) 기반 베이스라인보다 뚜렷이 뛰어나다. ER 기반 에이전트는 골 수가 1.7 ± 1.2개에 불과했고 평균 보상이 -0.3 ± 0.1로 음수를 기록했다.
• SARiCoS 에이전트는 위험 감수성 목적 함수 덕분에 패배 상황에서 성능 기준 β를 충족했으며, 이는 고영향도 보상인 골 득점과 같은 전략을 추구하도록 유도했고, ER 기반 에이전트는 국소 최적점에 갇혀 있었다.
• SARiCoS 에이전트는 과도한 먼 거리 드리블과 같은 비최적 행동을 피함으로써 보상 기반 모델 부정확성에 강건함을 보였다. 이로 인해 ER 기반 에이전트는 저보상 루프에 갇혀 있었다.
• 알고리즘은 국소 최적 해로 이론적 수렴을 달성하여 안정성과 위험 인지 계층적 의사결정에 대한 실용성을 검증했다.