[논문 리뷰] Machine Learning-Based Automated Thermal Comfort Prediction: Integration of Low-Cost Thermal and Visual Cameras for Higher Accuracy

Roshanak Ashrafi, Mona Azarbayjani외 1명|arXiv (Cornell University)|2022. 04. 14.

Building Energy and Comfort Optimization인용 수 5

한 줄 요약

이 연구는 저비용 열화상 및 시각 카메라를 통합한 기계학습 기반 시스템을 제안하여 실시간으로 개인화된 열적 쾌적함을 예측한다. FLIR Lepton 열화상 카메라에서 유도한 얼굴 온도 데이터를 시각 이미지와 융합하고, 착용형 IButton 센서와의 검증을 통해, 대규모 데이터셋으로 훈련된 경우 비복사열(가짜색) 열화상 데이터를 사용하더라도 Random Forest 및 K-Nearest Neighbor 모델이 높은 정확도를 달성한다.

ABSTRACT

Recent research is trying to leverage occupants' demand in the building's control loop to consider individuals' well-being and the buildings' energy savings. To that end, a real-time feedback system is needed to provide data about occupants' comfort conditions that can be used to control the building's heating, cooling, and air conditioning (HVAC) system. The emergence of thermal imaging techniques provides an excellent opportunity for contactless data gathering with no interruption in occupant conditions and activities. There is increasing attention to infrared thermal camera usage in public buildings because of their non-invasive quality in reading the human skin temperature. However, the state-of-the-art methods need additional modifications to become more reliable. To capitalize potentials and address some existing limitations, new solutions are required to bring a more holistic view toward non-intrusive thermal scanning by leveraging the benefit of machine learning and image processing. This research implements an automated approach to collect and register simultaneous thermal and visual images and read the facial temperature in different regions. This paper also presents two additional investigations. First, through utilizing IButton wearable thermal sensors on the forehead area, we investigate the reliability of an in-expensive thermal camera (FLIR Lepton) in reading the skin temperature. Second, by studying the false-color version of thermal images, we look into the possibility of non-radiometric thermal images for predicting personalized thermal comfort. The results shows the strong performance of Random Forest and K-Nearest Neighbor prediction algorithms in predicting personalized thermal comfort. In addition, we have found that non-radiometric images can also indicate thermal comfort when the algorithm is trained with larger amounts of data.

연구 동기 및 목표

• 실내 환경에서 실시간으로 개인화된 열 쾌적함을 예측하는 자동화되고 비침습적인 시스템을 개발하기 위해.
• 착용형 IButton 센서와 비교하여 저비용 열화상 카메라(FLIR Lepton)가 얼굴 피부 온도를 측정하는 데 신뢰성이 있는지 평가하기 위해.
• 충분한 데이터로 훈련된 경우 비복사열(가짜색) 열화상 이미지가 개인화된 열 쾌적함을 예측할 수 있는지 조사하기 위해.
• 기계학습을 활용하여 열화상 및 시각 이미징 데이터를 융합하여 쾌적함 평가의 정확도를 향상시키기 위해.

제안 방법

• 저비용 FLIR Lepton 및 일반 RGB 카메라를 사용하여 수용자들의 열화상 및 시각 이미지를 동시에 촬영하기 위해.
• 이미지 처리 기법을 사용하여 열화상 이미지의 여러 영역에서 얼굴 온도 데이터를 추출하기 위해.
• 정확도 평가를 위해 이마에 부착된 IButton 착용형 센서와 열화상 카메라 읽기 값을 비교하기 위해.
• 열화상 이미지를 가짜색 표현으로 변환하여 비복사열 데이터의 쾌적함 예측 활용 가능성을 탐색하기 위해.
• 융합된 열화상 및 시각 데이터를 기반으로 기계학습 모델인 Random Forest 및 K-Nearest Neighbor를 훈련하고 비교하기 위해.
• 교차검증 및 성능 지표를 사용하여 다양한 데이터셋에서 모델의 정확도, 정밀도 및 일반화 능력을 평가하기 위해.

실험 결과

연구 질문

• RQ1 착용형 IButton 센서와 비교하여 저비용 열화상 카메라(FLIR Lepton)가 얼굴 피부 온도를 신뢰성 있게 측정할 수 있는가?
• RQ2 비복사열(가짜색) 열화상 이미지가 얼마나 높은 정확도로 개인화된 열 쾌적함을 예측할 수 있는가?
• RQ3 다중 모odal 이미지 데이터에서 열 쾌적함을 예측할 때 Random Forest 또는 K-Nearest Neighbor 모델 중 어느 것이 더 우수한 성능을 보이는가?
• RQ4 열화상 및 시각 데이터의 융합은 단일 모odal 접근 방식에 비해 열 쾌적함 예측 정확도를 얼마나 향상시키는가?

주요 결과

• FLIR Lepton 열화상 카메라는 IButton 착용형 센서와 강한 상관관계를 보이며, 비침습적 환경에서 얼굴 피부 온도 측정에 신뢰성이 있음을 확인하였다.
• Random Forest 및 K-Nearest Neighbor 모델은 융합된 열화상 및 시각 데이터로부터 개인화된 열 쾌적함을 높은 정확도로 예측하였다.
• 대규모 데이터셋으로 훈련된 비복사열 열화상 이미지는 복사열 캘리브레이션 부족에도 불구하고 열 쾌적함 예측 잠재력을 보였다.
• 열화상 및 시각 데이터의 융합은 단일 모odal 접근 방식에 비해 예측 성능을 크게 향상시켰다.
• 이 연구는 기계학습 모델이 저비용이고 침습적이지 않은 영상 시스템으로부터 복잡한 열 쾌적함 패턴을 효과적으로 학습할 수 있음을 확인하였다.
• 결과는 실생활 건물 환경에서 확장 가능하고 자동화된 열 쾌적함 모니터링 시스템을 구현하는 데 실현 가능성을 뒷받침한다.