[논문 리뷰] Potential Impacts of Smart Homes on Human Behavior: A Reinforcement Learning Approach

Shashi Suman, Ali Etemad외 1명|arXiv (Cornell University)|2021. 02. 26.

Green IT and Sustainability참고 문헌 45인용 수 18

한 줄 요약

이 논문은 스마트 홈에서 인간 행동을 시뮬레이션하기 위해 계층적 강화학습(HRL) 모델을 제안하며, 편안함을 위해 온도 설정을 적응시키는 Q-학습 기반 스마트 홈 시스템(SHS)과 통합한다. 연구 결과, SHS는 인간 모델의 보상 함수가 일치하지 않을 경우, 특히 다중 에이전트 환경에서도 빈번한 활동 전환과 온도/습도 조절에 소요되는 시간 증가와 같은 의도하지 않은 행동 변화를 유도할 수 있음을 밝혔다.

ABSTRACT

We aim to investigate the potential impacts of smart homes on human behavior. To this end, we simulate a series of human models capable of performing various activities inside a reinforcement learning-based smart home. We then investigate the possibility of human behavior being altered as a result of the smart home and the human model adapting to one-another. We design a semi-Markov decision process human task interleaving model based on hierarchical reinforcement learning that learns to make decisions to either pursue or leave an activity. We then integrate our human model in the smart home which is based on Q-learning. We show that a smart home trained on a generic human model is able to anticipate and learn the thermal preferences of human models with intrinsic rewards similar to the generic model. The hierarchical human model learns to complete each activity and set optimal thermal settings for maximum comfort. With the smart home, the number of time steps required to change the thermal settings are reduced for the human models. Interestingly, we observe that small variations in the human model reward structures can lead to the opposite behavior in the form of unexpected switching between activities which signals changes in human behavior due to the presence of the smart home.

연구 동기 및 목표

• 스마트 홈이 인간 행동 패턴을 의도치 않게 어떻게 변화시킬 수 있는지 조사하기 위해.
• 활동 전환과 열적 편안함 선호도 조정이 가능한 계층적 강화학습(HRL)을 사용해 인간 에이전트를 모델링하기 위해.
• SHS 적응이 인간 모델 행동에 미치는 영향, 특히 활동 전환 빈도와 열적 편안함 설정에 소요되는 시간 측면에서 평가하기 위해.

제안 방법

• 계층적 강화학습(HRL) 프레임워크는 활동(휴식, TV, 운동)을 수행하고 편안함을 위해 온도/습도를 조절하는 인간 에이전트를 모델링한다.
• Q-학습 기반 스마트 홈 모델은 피드백을 통해 인간의 열적 선호도를 학습하고, 편안함을 극대화하기 위해 환경 설정을 적응시킨다.
• 인간 모델은 HRL을 통해 최적의 활동 지속 시간과 전환 시점을 학습하고, SHS는 불편함을 최소화하기 위해 보상 최적화를 통한 정책을 학습한다.
• 단일 및 다중 인간 모델을 공유하는 주거 환경에서 시뮬레이션을 수행하여, 열적 설정 조절에 소요되는 시간 단위 수와 활동 전환 빈도를 측정한다.
• 열적 편안함은 정의된 범위 내에서 PMV(Predicted Mean Vote)를 사용해 모델링되며, 개인의 민감도에 맞게 내재된 보상 함수가 조정된다.
• 실험은 SHS 유무에 따라 행동을 비교하여 평균 시간 단위 수(MTS), 평균 보상(MR), PMV 궤적 안정성의 변화를 분석한다.

실험 결과

연구 질문

• RQ1 RL 기반 스마트 홈이 시뮬레이션된 인간 에이전트의 활동 전환 행동에 어떤 영향을 미치는가?
• RQ2 SHS는 인간 모델이 열적 설정(온도/습도)을 조절하는 데 소요되는 시간에 어떤 정도의 영향을 미치는가?
• RQ3 SHS가 학습된 인간 모델과 다른 모델을 대상으로 하는 경우, 빈번한 전환이나 장기적인 조절 시간 증가와 같은 행동 이상 현상이 발생할 수 있는가?
• RQ4 다른 보상 함수와 열적 선호도를 가진 두 인간 모델 간의 상호작용이 공유 스마트 홈에서 행동에 어떤 영향을 미치는가?
• RQ5 다중 인간 모델이 어떤 조건에서 상호 협력하여 열적 조절 시간을 최소화하고 편안함을 극대화하는가?

주요 결과

• SHS의 학습 정책와 보상 함수가 일치하지 않는 인간 모델은 빈번한 활동 전환과 열적 설정 조절에 소요되는 시간 단위 수(MTS) 증가를 보였으며, 일부 사례에서는 6에서 11단위로 증가했다.
• 두 인간 모델이 주거 공간을 공유할 경우, 유사한 열적 선호도를 가진 모델(예: PMV 범위 [-0.25, 0.25])은 SHS가 작동할 경우 안정된 행동을 보였고, MTS는 11에서 5단위로 감소하여 협력이 향상됨을 보였다.
• 내재된 보상 함수는 다를지라도 열적 선호도가 겹치는 모델들(HA 및 HD)은 SHS 작동 시 MTS가 3~5단위로 감소하여 적응 능력 향상과 갈등 감소를 보였다.
• SHS는 두 모델이 유사한 열적 선호도를 가진 경우 안정된 정책을 학습했지만, 한 모델이 더 많은 피드백을 제공할 경우 정책 수렴에 편향이 발생했다.
• 다중 에이전트 시나리오에서 모델들은 열적 차이를 최소화하기 위해 작업 순서를 조정하여, TH 조절에 소요되는 시간을 줄이고 편안함을 높였다.
• PMV 궤적 분석을 통해 SHS가 편안한 상태로의 수렴을 향상시켰으며, 특히 민감한 모델(HD 등)의 경우 더 급격한 기울기를 보여 빠른 적응을 확인했다.