[논문 리뷰] Multi-Objective SPIBB: Seldonian Offline Policy Improvement with Safety Constraints in Finite MDPs

Harsh Satija, Philip S. Thomas외 2명|arXiv (Cornell University)|2021. 05. 31.

Sepsis Diagnosis and Treatment참고 문헌 53인용 수 5

한 줄 요약

이 논문은 다중 목적의 SPIBB를 제안하며, 이는 다중 목적 및 안전 제약 조건을 고려한 Seldonian 오프라인 강화 학습 방법이다. 이는 높은 확률로 성능 보장을 보장하면서 정책을 향상시킨다. 사용자가 지정한 트레이드오프를 고려하여 유한 MDP에서 다중 목적, 오프라인 강화 학습을 처리할 수 있도록 안전 정책 반복법에 기본값 부트스트랩 기법을 확장한 것으로, 시뮬레이션 및 중환자 치료 과제에서 더 높은 데이터 효율성과 안전성을 입증하였다.

ABSTRACT

We study the problem of Safe Policy Improvement (SPI) under constraints in the offline Reinforcement Learning (RL) setting. We consider the scenario where: (i) we have a dataset collected under a known baseline policy, (ii) multiple reward signals are received from the environment inducing as many objectives to optimize. We present an SPI formulation for this RL setting that takes into account the preferences of the algorithm's user for handling the trade-offs for different reward signals while ensuring that the new policy performs at least as well as the baseline policy along each individual objective. We build on traditional SPI algorithms and propose a novel method based on Safe Policy Iteration with Baseline Bootstrapping (SPIBB, Laroche et al., 2019) that provides high probability guarantees on the performance of the agent in the true environment. We show the effectiveness of our method on a synthetic grid-world safety task as well as in a real-world critical care context to learn a policy for the administration of IV fluids and vasopressors to treat sepsis.

연구 동기 및 목표

• 환경 상호작용이 비용이 많이 들거나 위험한 오프라인 강화 학습 환경에서 안전하고 다중 목적의 정책 향상 문제를 해결한다.
• 향상된 정책이 모든 목적에서 행동 정책보다 열 劣하지 않도록 보장하여 성능 저하를 방지한다.
• 표본 수가 유한한 설정에서 높은 확률 보장을 제공하여 외삽 오류와 목적 함수가 일치하지 않을 경우의 우려를 해결한다.
• 도메인 전문 지식이 필요 없이도 사용자가 충돌하는 목적 간의 트레이드오프를 선호도 파rameter를 통해 제어할 수 있도록 한다.
• 이론적으로 탄탄하고 실생활 응용 분야(예: 헬스케어)에 실질적으로 구현 가능한 방법을 개발한다.

제안 방법

• 성능 저하 제약 조건이 높은 확률로 만족되도록 보장하는 Seldonian 프레임워크를 오프라인, 다중 목적 강화 학습에 적응시킨다.
• 사용자가 지정한 선호도 가중치를 통합하여 다중 보상 함수를 처리할 수 있도록 안전 정책 반복법에 기본값 부트스트랩 기법을 확장한다.
• 편향이 적은 분산을 갖는 가중치 이중으로 안정된(Weighted Doubly Robust, WDR) 추정기를 사용하여 오프라인 데이터셋에서 정책 성능과 제약 조건을 평가한다.
• 정책이 모든 목적에서 행동 정책보다 성능이 열 劣하지 않도록 보장하는 조건부 다중 목적 최적화 문제로 문제를 수식화한다.
• 통계적 경계를 사용하여 정책 개선과 제약 조건 검증을 번갈아 수행하는 안전 정책 반복 루프를 적용한다.
• 기본값 부트스트랩을 통합하여 표본 효율성을 향상시키고 오프라인 정책 평가에서 과대평가 편향을 줄인다.

실험 결과

연구 질문

• RQ1 행동 정책에 비해 높은 확률 보장을 유지하면서 다중 목적 오프라인 강화 학습으로 안전 정책 향상 기법을 확장할 수 있는가?
• RQ2 충돌하는 목적 간의 사용자 선호도는 어떻게 안전하고 오프라인 정책 학습 프레임워크에 통합할 수 있는가?
• RQ3 기존의 선형 스칼라화 또는 제약 조건이 없는 오프라인 강화 학습 기반 방법과 비교해 본다면, 제안된 방법은 더 높은 데이터 효율성과 제약 조건 이행 성능을 달성하는가?
• RQ4 안전성과 성능 보장이 필수적인 고위험 분야(예: 중환자 치료)에서 실질적으로 구현 가능한가?
• RQ5 다양한 선호도 가중치는 주요 목적과 보조 목적 사이의 트레이드오프에 어떻게 영향을 미치며, 동시에 모든 목적에서 성능 저하가 발생하지 않도록 보장하는가?

주요 결과

• 제안된 다중 목적 SPIBB 방법은 성능에 대해 높은 확률 보장을 달성하여, 새로운 정책이 모든 목적에서 행동 정책의 성능을 열 劣하지 않도록 보장한다.
• 시뮬레이션 그리드월드 과제에서, 다중 목적 SPIBB는 특히 높은 안전성 제약 조건 하에서 선형 스칼라화 기반 방법보다 뛰어난 데이터 효율성을 보였다.
• 세프시스 치료 과제에서, 이 방법은 생존율을 향상시켰으며(97.68 ± 0.22), 희귀 치료 사용성도 유지하면서(27.64 ± 1.11), 기존 기반 방법을 능가했다.
• 이 방법은 제약 조건 위반을 효과적으로 방지했다: 모든 테스트 설정에서 정책이 행동 정책 수준 이하로 성능이 열 劣하지 않았다.
• 사용자 선호도 $[\lambda_0=1.0, \lambda_1=0.0]$ 설정에서, 이 방법은 생존 수익 97.68 ± 0.22와 희귀 치료 수익 27.64 ± 1.11을 달성하여 주요 목적에 대해 강력한 최적화를 이룬 동시에 안전성을 손상시키지 않았다.
• 높은 안전성 임계치($\delta=0.9$) 조건 하에서도 이 방법은 제약 조건 이행을 유지하였으며, 테스트 데이터의 여러 랜덤 분할에 걸쳐 성능 저하가 관찰되지 않았다.