[논문 리뷰] Model Selection for Offline Reinforcement Learning: Practical Considerations for Healthcare Settings

Shengpu Tang, Jenna Wiens|PubMed|2021. 07. 23.

Sepsis Diagnosis and Treatment참고 문헌 59인용 수 23

한 줄 요약

이 논문은 의료 분야의 오프라인 강화학습에서 실용적인 모델 선택 프레임워크를 제안하며, 검증을 위한 대체 수단으로 비정책 평가(OPE)를 사용한다. 네 가지 OPE 방법—적합된 Q 평가(FQE), 가중 중요도 샘플링(WIS), 행동 마진(AM), 이중 강화학습(DRL)—을 평가한 결과, FQE가 가장 정확한 정책 순위를 제공했지만 계산 비용이 매우 높았다. 정확성과 효율성의 균형을 맞추기 위해 저자들은 먼저 빠르지만 정확도가 낮은 방법(WIS)을 사용해 정책을 필터링한 후, 압축된 집합에서 FQE를 통해 정밀하게 순위를 매기는 이중 단계 OPE 파이프라인을 도입하여 계산량을 크게 줄였으며, 동시에 높은 품질의 정책 선택을 유지했다.

ABSTRACT

Reinforcement learning (RL) can be used to learn treatment policies and aid decision making in healthcare. However, given the need for generalization over complex state/action spaces, the incorporation of function approximators (e.g., deep neural networks) requires model selection to reduce overfitting and improve policy performance at deployment. Yet a standard validation pipeline for model selection requires running a learned policy in the actual environment, which is often infeasible in a healthcare setting. In this work, we investigate a model selection pipeline for offline RL that relies on off-policy evaluation (OPE) as a proxy for validation performance. We present an in-depth analysis of popular OPE methods, highlighting the additional hyperparameters and computational requirements (fitting/inference of auxiliary models) when used to rank a set of candidate policies. We compare the utility of different OPE methods as part of the model selection pipeline in the context of learning to treat patients with sepsis. Among all the OPE methods we considered, fitted Q evaluation (FQE) consistently leads to the best validation ranking, but at a high computational cost. To balance this trade-off between accuracy of ranking and computational efficiency, we propose a simple two-stage approach to accelerate model selection by avoiding potentially unnecessary computation. Our work serves as a practical guide for offline RL model selection and can help RL practitioners select policies using real-world datasets. To facilitate reproducibility and future extensions, the code accompanying this paper is available online.

연구 동기 및 목표

• 실제 정책 배포가 불가능한 오프라인 강화학습의 표준 훈련-검증 프레임워크 부족 문제를 해결하기 위해.
• 모델 선택을 위한 오프라인 강화학습에서 비정책 평가(OPE) 방법이 검증 성능의 대체 수단으로 유용한지 평가하기 위해.
• 하이퍼파라미터 민감도, 보조 모델 요구사항, 계산 비용 측면에서 OPE 방법 간 실용적 트레이드오프를 규명하기 위해.
• 저품질 정책에 대한 불필요한 계산을 줄여 모델 선택을 가속화하는 이중 단계 OPE 파이프라인을 제안하기 위해.
• 실제 관찰 데이터를 기반으로 의료 분야의 RL 연구자들이 고성능 정책을 선택할 수 있도록 재현 가능하고 실용적인 가이드를 제공하기 위해.

제안 방법

• 저자들은 시뮬레이션된 패혈증 치료 작업에서 네 가지 OPE 방법—FQE, WIS, AM, DRL—을 구현하고 비교하여 후보 정책의 순위를 매겼다.
• 표본 수가 적거나 신경망 아키텍처 선택과 같은 상황에서, 테이블 기반 및 함수 근사 설정 모두에서 모델 선택 성능을 평가했다.
• 이중 단계 모델 선택 파이프라인을 제안한다: 먼저 WIS를 사용해 저품질 정책을 빠르게 필터링하고, 이후 FQE를 통해 압축된 집합에서 정밀한 순위 매기기를 수행한다.
• 보조 모델 훈련 및 OPE 추정 계산에 동일한 검증 데이터 세트를 사용하여 데이터 활용도를 극대화했으며, 독립성 가정 위반 가능성을 감안한 점도 고려했다.
• 재현 가능성을 확보하고 향후 의료 분야 RL 연구의 확장성을 지원하기 위해 코드를 공개했다.
• OPE 방법의 강건성 평가를 위해 제어된 행동 정책과 다양한 데이터 조건을 가진 시뮬레이션된 패혈증 환경에서 실증 평가를 수행했다.

실험 결과

연구 질문

• RQ1 의료 분야 오프라인 RL에서 후보 정책 순위 매기기에 있어 다양한 OPE 방법(FQE, WIS, AM, DRL)의 효과성은 어떠한가?
• RQ2 하이퍼파라미터 민감도, 보조 모델 훈련, 계산 비용 측면에서 OPE 방법 간 실용적 트레이드오프는 무엇인가?
• RQ3 이중 단계 OPE 파이프라인은 정책 선택 정확도를 희생시키지 않고 계산 효율성을 향상시킬 수 있는가?
• RQ4 시뮬레이션된 임상 의사결정 환경에서 OPE 방법의 순위는 진정한 정책 성능과 얼마나 관련이 있는가?
• RQ5 모델 선택 시나리오(예: 아키텍처 선택, 조기 정지 등)에 따라 OPE 방법의 성능 및 신뢰성은 어떻게 변하는가?

주요 결과

• 적합된 Q 평가(FQE)는 모든 모델 선택 시나리오에서 진정한 정책 성능과의 상관관계가 가장 높은 정확한 정책 순위를 일관되게 제공했으며, WIS, AM, DRL를 모두 능가했다.
• WIS는 가장 계산 비용이 낮은 OPE 방법이었지만, 특히 낮은 데이터 또는 열악한 행동 정책 조건에서 분산이 가장 크고 순위 매기기가 가장 불안정했다.
• 이중 단계 파이프라인—초기 필터링에 WIS를 사용하고, 압축된 집합에서 FQE를 적용하는 방식—은 전체 계산 시간을 최대 70% 감소시켰으며, 同시에 높은 순위 정확도를 유지했다.
• OPE 방법은 보조 모델 하이퍼파라미터의 정교한 튜닝이 필요했으며, 성능는 모델링 선택에 따라 크게 달라져 체계적 하이퍼파라미터 검색의 필요성을 강조했다.
• 실제 시뮬레이션의 현실성에 한계가 있었음(예: 이산 행동, 누락 데이터 없음)에도 불구하고, 다양한 설정에서 고성능 정책을 일관되게 식별하는 데 프레임워크가 유용함을 입증했다.
• 의료 분야 RL 연구에서 모델 선택 절차를 보고하는 것이 재현 가능성 향상과 공정한 알고리즘 비교를 가능하게 하므로 중요하다는 점을 강조했다.