[논문 리뷰] An LLM-Based Digital Twin for Optimizing Human-in-the Loop Systems

Hanqing Yang, Marie Siew외 1명|arXiv (Cornell University)|2024. 03. 25.

Digital Transformation in Industry인용 수 4

한 줄 요약

이 논문은 상업시설 내 다양한 인구 집단의 열선호도 및 행동을 시뮬레이션하는 LLM 기반 디지털 트윈을 제안하며, 이는 적응형 HVAC 제어를 위한 강화학습(RL) 에이전트를 훈련시키는 데 목적이 있다. LLM 기반 에이전트가 합성 인간 피드백을 생성함으로써 AitL-RL 프레임워크는 에너지 절감과 거주자 편안함을 동시에 고려하는 실시간 시뮬레이션에서 개인화되고 분산된 온도 정책을 통해 고정된 설정점 제어 방식을 능가한다.

ABSTRACT

The increasing prevalence of Cyber-Physical Systems and the Internet of Things (CPS-IoT) applications and Foundation Models are enabling new applications that leverage real-time control of the environment. For example, real-time control of Heating, Ventilation and Air-Conditioning (HVAC) systems can reduce its usage when not needed for the comfort of human occupants, hence reducing energy consumption. Collecting real-time feedback on human preferences in such human-in-the-loop (HITL) systems, however, is difficult in practice. We propose the use of large language models (LLMs) to deal with the challenges of dynamic environments and difficult-to-obtain data in CPS optimization. In this paper, we present a case study that employs LLM agents to mimic the behaviors and thermal preferences of various population groups (e.g. young families, the elderly) in a shopping mall. The aggregated thermal preferences are integrated into an agent-in-the-loop based reinforcement learning algorithm AitL-RL, which employs the LLM as a dynamic simulation of the physical environment to learn how to balance between energy savings and occupant comfort. Our results show that LLMs are capable of simulating complex population movements within large open spaces. Besides, AitL-RL demonstrates superior performance compared to the popular existing policy of set point control, suggesting that adaptive and personalized decision-making is critical for efficient optimization in CPS-IoT applications. Through this case study, we demonstrate the potential of integrating advanced Foundation Models like LLMs into CPS-IoT to enhance system adaptability and efficiency. The project's code can be found on our GitHub repository.

연구 동기 및 목표

• 공공 건물(예: 쇼핑몰)에서 인간-인간의 상호작용이 있는 사이버-물리 시스템(CPS-IoT)에서 실시간 인간 피드백을 확보하는 데 도전하는 문제를 해결하기 위해.
• 대규모 언어 모델(LLM)를 활용해 복잡한 인간 행동과 선호도를 스케일러블하고 개인정보 보호를 고려한 방식으로 시뮬레이션하는 방법을 개발하기 위해.
• 디지털 트윈 기반 강화학습 프레임워크를 통해 HVAC 시스템의 에너지 효율성과 거주자 편안함을 최적화하기 위해.
• LLM에서 생성된 데이터가 실제 동적인 환경으로 일반화되는 강화학습 정책을 효과적으로 훈련시킬 수 있는지 평가하기 위해.
• 에너지 비용과 사용자 편안함을 균형 있게 유지하는 데 있어 중심집중형 대비 분산형 제어 정책의 성능을 비교하기 위해.

제안 방법

• LLM 기반 자율 에이전트가 쇼핑몰 환경에서 고유한 이동 패턴과 열선호도를 가진 다양한 인구 집단(예: 젊은 가정, 노인 부부)을 시뮬레이션한다.
• GPT-3.5와 GPT-4를 사용해 각 시뮬레이션 반복 동안 상점 간 사용자 도착, 이동 및 편안함 피드백을 합성 생성하며, 계산 비용을 최소화하기 위해 미세조정 없이 추론 전용으로 구현한다.
• 시뮬레이션된 데이터를 활용해 에너지 비용과 사용자 편안함을 균형 있게 조절하는 가중치가 부여된 목적 함수를 통해 AitL-RL(에이전트-인-더-루프 강화학습) 알고리즘을 사전 훈련한다.
• RL 정책은 LLM에서 생성된 데이터를 오프라인으로 훈련한 후, 새로운 미사용 일자에 대해 실시간 제어 및 피드백이 가능한 온라인 시나리오에서 평가된다.
• 중앙집중형(일괄 온도 설정)과 분산형(각 상점별 온도 제어)의 두 가지 제어 전략을 비교하며, 편안함과 에너지 비용을 종합한 균형 점수를 통해 정책 성능을 측정한다.
• 편안함(wc)과 에너지 비용(we)에 대한 조정 가능한 가중치를 포함한 다목적 손실 함수를 활용하여 다양한 운영 우선순위 간의 트레이드오프 분석이 가능하다.

Figure 1: The LLM-based Digital Twin Agent in the Loop Distributed Control (AitL-RL) Pipeline. The LLM-based digital twin simulates population behavior in the mall across the day, with multiple population groups such as "teen shoppers". Based on the simulation, user preferences are aggregated and in

실험 결과

연구 질문

• RQ1 LLM 기반 에이전트는 쇼핑몰과 같은 큰 개방형 공공 공간에서 다양한 인간 행동과 열선호도를 정확하게 시뮬레이션할 수 있는가?
• RQ2 LLM에서 생성된 합성 데이터가 인간-인간의 상호작용이 있는 시스템에서 실시간 HVAC 제어를 위한 강화학습 정책을 효과적으로 훈련시키는 데 적합한가?
• RQ3 에너지 절감과 거주자 편안함을 균형 있게 유지하는 데 있어 분산형 온도 제어는 중심집중형 제어보다 우수한가?
• RQ4 목적 함수의 가중치(편안함 대비 에너지 비용)가 다른 경우, 해당 정책과 시스템 성능에 어떤 영향을 미치는가?
• RQ5 AitL-RL 프레임워크는 새로운 운영 시나리오로 일반화되어 표준 설정점 제어 정책을 능가하는가?

주요 결과

• AitL-RL 프레임워크는 모든 평가 지표에서 고정 설정점 제어 정책(25°C)보다 에너지 비용과 사용자 편안함의 균형을 뛰어나게 유지한다.
• 사용자 밀도와 집단 선호도에 따라 온도를 맞춤형으로 조절하는 분산형 제어 정책은 개인화 및 반응성 측면에서 중심집중형 정책보다 뛰어나다.
• 편안함과 에너지 비용 모두를 고려한 균형 임계값 접근법이 가장 높은 종합 시스템 점수를 기록하여 다목적 최적화의 중요성을 입증한다.
• LLM 기반 디지털 트윈은 대규모 개방 공간 내 여러 상점에서 집단별 이동 패턴과 열선호도를 포함한 복잡한 인간 행동을 성공적으로 시뮬레이션했다.
• 에너지 중심 설정(wc=0)에서는 온도를 주변 온도(30°C)로 높여 에너지 소비를 크게 감소시켰고, 편안함 중심 설정(we=0)에서는 사용자 만족도를 우선시하기 위해 온도를 낮추는 경향을 보였다.
• 모든 훈련 설정에서 RL 정책가 효과적으로 수렴함을 확인하여, LLM에서 생성된 데이터가 정책 학습에 있어 안정적이고 확장 가능한 것을 입증했다.

Figure 2: The layout of the shopping mall named Happy Mall, whose floor plan was generated by GPT 4 , after minor manual adjustments to better replicate a real mall setting.