[论文解读] An LLM-Based Digital Twin for Optimizing Human-in-the Loop Systems

Hanqing Yang, Marie Siew+1 more|arXiv (Cornell University)|Mar 25, 2024

Digital Transformation in Industry被引用 4

一句话总结

本文提出一种基于大语言模型（LLM）的数字孪生系统，用于在商场环境中模拟不同人群群体的热舒适偏好与行为，以训练强化学习（RL）智能体实现自适应暖通空调（HVAC）控制。通过利用LLM驱动的智能体生成合成的人类反馈，AitL-RL框架在实时仿真中通过个性化、分布式的温控策略，实现了能效与人员舒适度之间的平衡，显著优于固定设定点控制方式。

ABSTRACT

The increasing prevalence of Cyber-Physical Systems and the Internet of Things (CPS-IoT) applications and Foundation Models are enabling new applications that leverage real-time control of the environment. For example, real-time control of Heating, Ventilation and Air-Conditioning (HVAC) systems can reduce its usage when not needed for the comfort of human occupants, hence reducing energy consumption. Collecting real-time feedback on human preferences in such human-in-the-loop (HITL) systems, however, is difficult in practice. We propose the use of large language models (LLMs) to deal with the challenges of dynamic environments and difficult-to-obtain data in CPS optimization. In this paper, we present a case study that employs LLM agents to mimic the behaviors and thermal preferences of various population groups (e.g. young families, the elderly) in a shopping mall. The aggregated thermal preferences are integrated into an agent-in-the-loop based reinforcement learning algorithm AitL-RL, which employs the LLM as a dynamic simulation of the physical environment to learn how to balance between energy savings and occupant comfort. Our results show that LLMs are capable of simulating complex population movements within large open spaces. Besides, AitL-RL demonstrates superior performance compared to the popular existing policy of set point control, suggesting that adaptive and personalized decision-making is critical for efficient optimization in CPS-IoT applications. Through this case study, we demonstrate the potential of integrating advanced Foundation Models like LLMs into CPS-IoT to enhance system adaptability and efficiency. The project's code can be found on our GitHub repository.

研究动机与目标

• 为解决在人机协同（HITL）网络物理系统（CPS-IoT）中，特别是在商场等公共建筑中收集实时人类反馈的挑战。
• 开发一种可扩展、保护隐私的方法，利用大语言模型（LLMs）模拟复杂的人类行为与偏好。
• 通过数字孪生驱动的强化学习框架，优化暖通空调系统的能效与人员舒适度。
• 评估LLM生成的数据是否能有效训练出可泛化至真实世界动态环境的强化学习策略。
• 比较集中式与分布式控制策略在平衡能耗成本与用户舒适度方面的性能表现。

提出的方法

• 基于LLM的自主智能体在商场环境中模拟具有独特移动模式与热舒适偏好的不同人群群体（如年轻家庭、老年夫妇）。
• 在每次仿真迭代中，使用GPT-3.5和GPT-4生成用户到达、移动路径及各店铺内的舒适度反馈，仅使用推理（无微调）以最小化计算开销。
• 利用生成的仿真数据预训练AitL-RL（人机协同强化学习）算法，该算法通过加权目标函数学习在能耗成本与用户舒适度之间取得平衡。
• 强化学习策略基于LLM生成的数据离线训练，随后在包含实时控制与反馈的新未见日期的在线场景中进行评估。
• 对比两种控制策略：集中式（统一温度）与分布式（按店铺独立控温），通过结合舒适度与能耗成本的综合评分衡量策略性能。
• 框架采用多目标损失函数，支持对舒适度（wc）与能耗成本（we）的权重进行调节，实现不同运行优先级下的权衡分析。

Figure 1: The LLM-based Digital Twin Agent in the Loop Distributed Control (AitL-RL) Pipeline. The LLM-based digital twin simulates population behavior in the mall across the day, with multiple population groups such as "teen shoppers". Based on the simulation, user preferences are aggregated and in

实验结果

研究问题

• RQ1 LLM驱动的智能体能否准确模拟大型开放公共空间（如购物中心）中多样化的人类行为与热舒适偏好？
• RQ2 LLM生成的合成数据能否有效训练出适用于人机协同系统中实时HVAC控制的强化学习策略？
• RQ3 与集中式控制相比，分布式温控策略在平衡节能与人员舒适度方面表现如何？
• RQ4 不同目标函数权重（舒适度 vs. 能耗成本）对最终控制策略与系统性能有何影响？
• RQ5 AitL-RL框架能否泛化至未见过的运行场景，并优于标准设定点控制策略？

主要发现

• AitL-RL框架在所有评估指标中均显著优于固定设定点控制策略（25°C），在能耗成本与用户舒适度之间实现了更优平衡。
• 分布式控制策略（根据各店铺的人员密度与群体偏好独立调节温度）优于集中式策略，因其具备更高的个性化与响应灵敏度。
• 采用平衡权重的方法（同时优化舒适度与能耗成本）获得了最高的整体系统评分，凸显了多目标优化的重要性。
• 基于LLM的数字孪生系统成功模拟了大型开放空间中多个店铺内的人群特定移动行为与热舒适偏好，展现了复杂行为的仿真能力。
• 在以节能为导向的场景中（wc=0），策略将温度提升至环境温度（30°C），显著降低能耗；在以舒适度为导向的场景中（we=0），策略则降低温度以优先保障人员满意度。
• 强化学习策略在所有训练配置下均实现有效收敛，证实了LLM生成数据在策略学习中的稳定性与可扩展性。

Figure 2: The layout of the shopping mall named Happy Mall, whose floor plan was generated by GPT 4 , after minor manual adjustments to better replicate a real mall setting.