[논문 리뷰] Risk-Aware Transfer in Reinforcement Learning using Successor Features

Michael Gimelfarb, André Barreto외 2명|arXiv (Cornell University)|2021. 05. 28.

Gaussian Processes and Bayesian Inference참고 문헌 1인용 수 9

한 줄 요약

이 논문은 강화학습에서 위험 인식 정책 전이를 가능하게 하기 위해 환수 분산을 모델링할 수 있도록 상속 기능을 확장한 새로운 프레임워크인 위험 인식 후속 기능(RaSF)을 소개한다. 엔트로픽 유틸리티 최적화와 평균-분산 근사화를 통합함으로써 RaSF는 위험 중립적 방법에 비해 뛰어난 작업 일반화 능력과 감소된 위험을 달성하며, 내비게이션 및 로봇 제어 과제에서 표준 SF 및 위험 회피 기준선보다 뛰어난 성능을 보였다.

ABSTRACT

Sample efficiency and risk-awareness are central to the development of practical reinforcement learning (RL) for complex decision-making. The former can be addressed by transfer learning and the latter by optimizing some utility function of the return. However, the problem of transferring skills in a risk-aware manner is not well-understood. In this paper, we address the problem of risk-aware policy transfer between tasks in a common domain that differ only in their reward functions, in which risk is measured by the variance of reward streams. Our approach begins by extending the idea of generalized policy improvement to maximize entropic utilities, thus extending policy improvement via dynamic programming to sets of policies and levels of risk-aversion. Next, we extend the idea of successor features (SF), a value function representation that decouples the environment dynamics from the rewards, to capture the variance of returns. Our resulting risk-aware successor features (RaSF) integrate seamlessly within the RL framework, inherit the superior task generalization ability of SFs, and incorporate risk-awareness into the decision-making. Experiments on a discrete navigation domain and control of a simulated robotic arm demonstrate the ability of RaSFs to outperform alternative methods including SFs, when taking the risk of the learned policies into account.

연구 동기 및 목표

• 다른 보상 함수를 가진 과제 간의 위험 인식 정책 전이에 대한 격차를 해소하기 위해.
• 엔트로픽 유틸리티 최대화를 사용하여 일반화된 정책 개선(GPI) 및 일반화된 정책 평가(GPE)를 위험 인식 설정으로 확장하기 위해.
• 수익 분포의 분산을 포착하는 후속 기능을 개발하여 과제 간 위험 인식 일반화를 가능하게 하기 위해.
• 특히 엔트로픽 유틸리티에 대해 GPI의 이론적 보장 조건이 위험 민감 목표 하에서도 유지됨을 보장하기 위해.
• RaSF가 수익과 위험의 상호 균형을 향상시키면서도 새로운 과제에서 강력한 일반화 능력을 유지함을 경험적으로 검증하기 위해.

제안 방법

• 엔트로픽 유틸리티를 최대화하는 방식으로 일반화된 정책 개선(GPI)을 확장하여, 정책 집합에 대한 동적 프rogramming을 통해 위험 회피 정책 최적화를 가능하게 한다.
• 수익 분포의 평균과 분산을 공유된 특징 표현을 사용하여 나타내는 위험 인식 후속 기능(RaSF)을 도입한다.
• 수익 분포의 충분 통계를 직접 또는 분포 기반 강화학습 방법을 통해 평균-분산 근사화를 사용하여 계산한다.
• 잔차 기반 방법을 사용하여 후속 기능 표현 내 공분산 행렬을 추정함으로써 분산 모델링 정확도를 향상시킨다.
• 위험 민감 평가를 적용한 GPI를 통해 서로 다른 보상 함수를 가진 과제 간에 정책을 전이하며, 위험 제약 조건 하에서도 단조적 개선을 유지한다.
• 공유된 환경 역학의 구조를 활용하여, 확률적 요소와 함수 근사 오차가 존재하는 상황에서도 가치 추정치(분산 포함)를 새로운 과제로 일반화한다.

실험 결과

연구 질문

• RQ1 엔트로픽 유틸리티와 같은 위험 인식 목표 하에서 일반화된 정책 개선(GPI)을 최적성 보장 조건을 유지하면서 확장할 수 있는가?
• RQ2 수익 분산을 모델링할 수 있도록 후속 기능을 확장할 수 있는가, 이를 통해 위험 인식 정책 전이가 가능해지는가?
• RQ3 후속 기능에 위험 인식 요소를 통합하면 위험 중립 또는 위험 회피 기준선 대비 새로운 과제에서 일반화 능력 향상과 실패율 감소에 기여하는가?
• RQ4 RaSF의 평균-분산 근사화 방식은 연속 제어 및 내비게이션 과제에서 고분산·위험 지역을 다룰 때 표준 후속 기능보다 어떻게 비교되는가?
• RQ5 RaSF는 다수의 소스 과제에서 정확한 분산 추정을 유지하고, 새로운 테스트 과제로의 일반화 능력을 어느 정도 유지를 하는가?

주요 결과

• 로봇 팔 리처 도메인의 테스트 과제에서 RaSFC51는 RaC51 및 SFC51보다 유의미하게 낮은 실패율을 기록했으며, 특히 고분산 영역에서 두드러진 성능을 보였다.
• RaSFC51는 목표 위치 근처에서 정지 상태를 유지하면서 위험 지역을 피하는 방식으로 학습되었으며, 이는 평균-분산 목표의 히트맵을 통해 확인되었고, 저분산 영역에서는 목표에서 略로 약간 떨어진 곳에서 최댓값을 보였다.
• RaSFC51가 학습한 분산 추정치는 모든 8개의 테스트 과제에서 정확하고 잘 일반화되었으며, 잔차 공분산 추정을 사용한 SFDQN은 분산을 과대평가하고 수렴하지 못했다.
• 모든 β 값에서 정규화된 수익 대 실패 비율이 일관되게 더 높았기 때문에 RaSFC51는 수익과 위험의 상호 균형에서 RaC51를 능가했다.
• RaSFC51에서 유도된 GPI 정책은 새로운 과제로 효과적으로 일반화되었으며, 롤아웃 결과에서 고분산 영역을 일관되게 피하는 경향을 보였고, 위험 중립적 SFC51는 위험을 완전히 忽略했다.
• RaSF는 후속 기능의 일반화 능력을 분산과 같은 고차원 모멘트로 확장함을 성공적으로 입증하였으며, SF가 기대 수익 뿐 아니라 수익 변동성까지 일반화할 수 있음을 보여주었다.