[논문 리뷰] A Decision-Language Model (DLM) for Dynamic Restless Multi-Armed Bandit Tasks in Public Health

Nikhil Behari, Edwin Zhang외 4명|arXiv (Cornell University)|2024. 02. 22.

Mind wandering and attentionNeuroscience인용 수 3

한 줄 요약

이 논문은 공중보건 자원 배분을 위한 유흥적 다중arms 밴딧(RMAB) 프레임워크에서 보상 함수를 동적으로 적응시키기 위해 대규모 언어 모델(LLM)을 활용하는 의사결정-언어 모델(DLM)을 소개한다. 인간의 언어적 정책 명령어를 해석하고 RMAB 시뮬레이션 피드백을 통해 반복적으로 보상 함수를 개선함으로써, 재학습 없이도 인간 수준에 가까운 정책 일치를 달성하며, 변화하는 공중보건 우선순위에 실시간으로 적응할 수 있다.

ABSTRACT

Restless multi-armed bandits (RMAB) have demonstrated success in optimizing resource allocation for large beneficiary populations in public health settings. Unfortunately, RMAB models lack flexibility to adapt to evolving public health policy priorities. Concurrently, Large Language Models (LLMs) have emerged as adept automated planners across domains of robotic control and navigation. In this paper, we propose a Decision Language Model (DLM) for RMABs, enabling dynamic fine-tuning of RMAB policies in public health settings using human-language commands. We propose using LLMs as automated planners to (1) interpret human policy preference prompts, (2) propose reward functions as code for a multi-agent RMAB environment, and (3) iterate on the generated reward functions using feedback from grounded RMAB simulations. We illustrate the application of DLM in collaboration with ARMMAN, an India-based non-profit promoting preventative care for pregnant mothers, that currently relies on RMAB policies to optimally allocate health worker calls to low-resource populations. We conduct a technology demonstration in simulation using the Gemini Pro model, showing DLM can dynamically shape policy outcomes using only human prompts as input.

연구 동기 및 목표

• 재학습 없이 변화하는 정책 우선순위에 적응할 수 있는 RMAB 기반 공중보건 자원 배분의 과제를 해결하기 위해.
• 전문가가 아닌 공중보건 전문가가 자연어 명령을 통해 원하는 결과를 지정할 수 있도록 하기 위해.
• RMAB 환경에서의 시뮬레이션 결과를 활용해 LLM이 생성한 보상 함수를 향상시키는 피드백 루프를 개발하기 위해.
• 인도의 ARMMAN와 협력하여 실세계 모성 및 소아 건강 간병 프로그램 맥락에서 접근 방식을 검증하기 위해.
• LLM이 복잡하고 동적인 공중보건 의사결정 과제를 위해 효과적으로 보상 함수를 생성하고 개선할 수 있음을 보여주기 위해.

제안 방법

• LLM을 활용해 인간의 정책 선호 프롬프트를 해석하고 원하는 건강 결과를 위한 의미적 의도를 추출하기 위해.
• LLM의 코드 생성 능력을 활용해 자연어에서 코드 기반 보상 함수를 생성하기 위해.
• RMAB 시뮬레이션 결과가 LLM의 보상 함수 제안을 향상시키기 위해 피드백을 제공하는 반복적 개선 루프를 구현하기 위해.
• 기본 진실 피드백 없이도 시뮬레이션 기반 피드백 메커니즘을 활용해 LLM이 생성한 보상 함수를 목표 정책 목표와 일치시키기 위해.
• RMAB를 위한 다중 에이전트 강화 학습 환경에 LLM이 생성한 보상 함수를 통합하여 적응형 할당 정책을 훈련하기 위해.
• 자원 제약 하에서 건강 요원이 임신 중이거나 임신 예상자에게 전화를 배정하는 실세계 모성 건강 프로그램을 사용해 시스템을 검증하기 위해.

Figure 1: Overview of the proposed DLM loop. We begin by providing three key context descriptions to the LLM. First, we provide a language command; we include all specific commands in Appendix E . We also provide arm feature context, which contains a list of relevant per-arm features available to us

실험 결과

연구 질문

• RQ1 LLM은 공중보건 분야의 RMAB에 대해 인간의 언어 정책 명령어를 효과적으로 해석하고, 이를 기능성 있는 보상 함수로 변환할 수 있는가?
• RQ2 RMAB 시뮬레이션 결과를 활용한 반복적 피드백 루프는 LLM이 생성한 보상 함수가 원하는 정책 목표와의 일치도를 향상시킬 수 있는가?
• RQ3 LLM이 생성한 보상 함수는 동적인 공중보건 자원 할당 과제에서 인간이 설계한 보상 함수와 비교해 어느 정도 성능을 달성할 수 있는가?
• RQ4 DLM 시스템은 실세계 모성 건강 간병 프로그램 환경에서 변화하는 우선순위에 얼마나 잘 적응하는가?
• RQ5 이 시스템은 전문가가 아닌 사용자가 자연어 입력만으로도 공중보건 정책을 동적으로 조정할 수 있도록 할 수 있는가?

주요 결과

• DLM 시스템은 자연어 정책 명령어를 효과적인 보상 함수로 성공적으로 변환하여 RMAB 정책이 원하는 결과로 향하도록 이끈다.
• 반복적 피드백 루프는 LLM이 생성한 보상 함수의 품질을 크게 향상시키며, 목표 정책 목표에 수렴하는 데 기여한다.
• 모의 실험 결과가 전문가가 설계한 기준과 유사한 수준의 성능을 보이며, DLM은 보상 함수 설계에서 인간 수준에 가까운 성능을 달성한다.
• 재학습 없이도 동적 정책 적응이 가능해 변화하는 공중보건 우선순위에 신속히 대응할 수 있다.
• ARMMAN 사례 연구에서 DLM은 변화하는 수혜자 위험 프로필과 시간 선호도를 바탕으로 제한된 건강 요원 자원을 효과적으로 재할당하는 데 성공했다.
• 전문가의 개입 없이 보상 함수 설계를 줄여, 비기술적 공중보건 전문가가 RMAB 기반 계획을 활용할 수 있도록 한다.

Figure 2: Main results. We report the interquartile mean of the normalized performance Agarwal et al. ( 2021 ) and standard error. Task colors denote difficulty. Green tasks consider only one feature group (i.e. age, income, etc). Yellow tasks consider more than one feature group, or single features