[論文レビュー] A Decision-Language Model (DLM) for Dynamic Restless Multi-Armed Bandit Tasks in Public Health

Nikhil Behari, Edwin Zhang+4 more|arXiv (Cornell University)|Feb 22, 2024

Mind wandering and attentionNeuroscience被引用数 3

ひとこと要約

本論文は、公衆衛生のリソース配分のための、 restless multi-armed bandit (RMAB) フレームワークにおいて、大規模言語モデル (LLMs) を活用して報酬関数を動的に適応させる意思決定言語モデル (DLM) を導入する。人間の自然言語による政策命令を解釈し、RMAB シミュレーションからのフィードバックを用いて反復的に報酬関数を最適化することで、再訓練を伴わずに人間水準に近い政策の整合性を達成し、変化する公衆衛生の優先順位にリアルタイムで適応可能となる。

ABSTRACT

Restless multi-armed bandits (RMAB) have demonstrated success in optimizing resource allocation for large beneficiary populations in public health settings. Unfortunately, RMAB models lack flexibility to adapt to evolving public health policy priorities. Concurrently, Large Language Models (LLMs) have emerged as adept automated planners across domains of robotic control and navigation. In this paper, we propose a Decision Language Model (DLM) for RMABs, enabling dynamic fine-tuning of RMAB policies in public health settings using human-language commands. We propose using LLMs as automated planners to (1) interpret human policy preference prompts, (2) propose reward functions as code for a multi-agent RMAB environment, and (3) iterate on the generated reward functions using feedback from grounded RMAB simulations. We illustrate the application of DLM in collaboration with ARMMAN, an India-based non-profit promoting preventative care for pregnant mothers, that currently relies on RMAB policies to optimally allocate health worker calls to low-resource populations. We conduct a technology demonstration in simulation using the Gemini Pro model, showing DLM can dynamically shape policy outcomes using only human prompts as input.

研究の動機と目的

• 再訓練を伴わせずに、変化する政策優先順位に適応できる RMAB を用いた公衆衛生リソース配分の課題に対処すること。
• 専門家でない公衆衛生の実務者が自然言語の命令を用いて望ましい結果を指定できるようにすること。
• RMAB 環境からのシミュレーション結果を用いて、LLM が生成した報酬関数を改善するフィードバックループを開発すること。
• インドの ARMMAN と連携した実世界の母子保健介入の文脈で、このアプローチを検証すること。
• LLM が複雑で動的な公衆衛生意思決定のための報酬関数を効果的に生成・最適化できることを示すこと。

提案手法

• LLM を用いて人間の政策好ましいプロンプトを解釈し、望ましい健康成果の意味的意図を抽出する。
• LLM のコード生成機能を活用して、自然言語からコードベースの報酬関数を生成する。
• RMAB シミュレーション結果がフィードバックとして機能する反復的最適化ループを実装し、LLM が生成する報酬関数を改善する。
• 真のフィードバックが得られない状況でも、シミュレーションベースのフィードバックメカニズムを用いて、LLM が生成した報酬関数を目標とする政策目的に一致させる。
• RMAB のためのマルチエージェント強化学習環境に LLM が生成した報酬関数を統合し、適応的リソース配分ポリシーの学習を実施する。
• リソース制約下で、保健スタッフが妊婦被験者に電話を割り当てる母体健康プログラムを用いて、システムを検証する。

Figure 1: Overview of the proposed DLM loop. We begin by providing three key context descriptions to the LLM. First, we provide a language command; we include all specific commands in Appendix E . We also provide arm feature context, which contains a list of relevant per-arm features available to us

実験結果

リサーチクエスチョン

• RQ1 LLM は、公衆衛生の RMAB において、自然言語による政策命令を効果的に解釈し、機能的な報酬関数に変換できるか？
• RQ2 RMAB シミュレーション結果を用いた反復的フィードバックループは、LLM が生成する報酬関数と望ましい政策成果との整合性を向上させることができるか？
• RQ3 LLM が生成する報酬関数は、動的な公衆衛生リソース配分タスクにおいて、人間が設計した報酬関数と比較してどの程度の性能を達成できるか？
• RQ4 DLM システムは、実世界の母体健康介入の文脈で、優先順位の変化にどの程度適応できるか？
• RQ5 このシステムは、非専門家ユーザーが自然言語入力のみで公衆衛生政策を動的に調整できるか？

主な発見

• DLM システムは、自然言語による政策命令を、望ましい結果に導く効果的な報酬関数に成功して変換した。
• 反復的フィードバックループは、LLM が生成する報酬関数の質を顕著に向上させ、目標とする政策目的に収束させるのに寄与した。
• シミュレーションの結果が専門家が設計したベンチマークと一致することから、DLM は人間水準に近い報酬関数設計のパフォーマンスを達成した。
• 再訓練を伴わず、動的な政策適応が可能であり、公衆衛生の優先順位の変化に迅速に対応できる。
• ARMMAN ケーススタディにおいて、被験者のリスクプロファイルやタイミングの好みの変化に応じて、限定的な保健スタッフリソースを効果的に再配分した。
• 報酬関数設計のための専門家の介入に依存する必要が減り、非技術的な公衆衛生の実務家が RMAB を用いた計画立案にアクセス可能になった。

Figure 2: Main results. We report the interquartile mean of the normalized performance Agarwal et al. ( 2021 ) and standard error. Task colors denote difficulty. Green tasks consider only one feature group (i.e. age, income, etc). Yellow tasks consider more than one feature group, or single features