[論文レビュー] Machine Learning-Based Automated Thermal Comfort Prediction: Integration of Low-Cost Thermal and Visual Cameras for Higher Accuracy

Roshanak Ashrafi, Mona Azarbayjani+1 more|arXiv (Cornell University)|Apr 14, 2022

Building Energy and Comfort Optimization被引用数 5

ひとこと要約

本研究では、低価格の赤外線カメラと可視光カメラを統合した機械学習ベースのシステムを提案し、リアルタイムで個人の熱的快適性を予測する。FLIR Lepton赤外線カメラから得られる顔面温度データと可視光画像を融合し、ウェアラブルIButtonセンサーと照合することで、大規模なデータセットで学習された場合、ランダムフォレストおよびK-最近傍法モデルを用いて高い精度を達成した。放射計測のない赤外線データでも、その精度は維持される。

ABSTRACT

Recent research is trying to leverage occupants' demand in the building's control loop to consider individuals' well-being and the buildings' energy savings. To that end, a real-time feedback system is needed to provide data about occupants' comfort conditions that can be used to control the building's heating, cooling, and air conditioning (HVAC) system. The emergence of thermal imaging techniques provides an excellent opportunity for contactless data gathering with no interruption in occupant conditions and activities. There is increasing attention to infrared thermal camera usage in public buildings because of their non-invasive quality in reading the human skin temperature. However, the state-of-the-art methods need additional modifications to become more reliable. To capitalize potentials and address some existing limitations, new solutions are required to bring a more holistic view toward non-intrusive thermal scanning by leveraging the benefit of machine learning and image processing. This research implements an automated approach to collect and register simultaneous thermal and visual images and read the facial temperature in different regions. This paper also presents two additional investigations. First, through utilizing IButton wearable thermal sensors on the forehead area, we investigate the reliability of an in-expensive thermal camera (FLIR Lepton) in reading the skin temperature. Second, by studying the false-color version of thermal images, we look into the possibility of non-radiometric thermal images for predicting personalized thermal comfort. The results shows the strong performance of Random Forest and K-Nearest Neighbor prediction algorithms in predicting personalized thermal comfort. In addition, we have found that non-radiometric images can also indicate thermal comfort when the algorithm is trained with larger amounts of data.

研究の動機と目的

• 屋内環境におけるリアルタイムでの熱的快適性予測のための自動的かつ非侵襲的なシステムの開発。
• ウェアラブルIButtonセンサーと比較して、低価格の赤外線カメラ（FLIR Lepton）が顔面皮膚温度を測定する信頼性を評価すること。
• 十分なデータで学習された場合、放射計測のない（偽彩色の）赤外線画像が、個人の熱的快適性を予測できるかどうかを調査すること。
• 機械学習を用いて赤外線および可視光画像データを統合し、快適性評価の精度を向上させること。

提案手法

• 低価格のFLIR Leptonカメラと標準的なRGBカメラを用いて、被験者の赤外線および可視光画像を同時に取得する。
• 画像処理技術を用いて、複数の領域にわたり赤外線画像から顔面温度データを抽出する。
• 額に配置したウェアラブルIButtonセンサーと照合することで、赤外線カメラの測定値の正確さを検証する。
• 赤外線画像を偽彩色表現に変換し、放射計測のないデータが快適性予測にどの程度有効であるかを検討する。
• 融合された赤外線および可視光データを用いて、ランダムフォレストおよびK-最近傍法モデルを訓練・比較し、快適性分類を実施する。
• 交差検証および性能指標を用いて、多様なデータセットにおけるモデルの精度、適合度、一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ウェアラブルIButtonセンサーと比較して、低価格の赤外線カメラ（FLIR Lepton）は顔面皮膚温度を信頼性高く測定できるか？
• RQ2 放射計測のない（偽彩色の）赤外線画像は、どの程度個人の熱的快適性を予測できるか？
• RQ3 マルチモーダル画像データから熱的快適性を予測する際、ランダムフォレストとK-最近傍法のどちらの機械学習モデルがより優れた性能を示すか？
• RQ4 赤外線および可視光データの統合は、単一モダリティのアプローチと比較して、熱的快適性予測の精度をどの程度向上させるか？

主な発見

• FLIR Lepton赤外線カメラは、IButtonウェアラブルセンサーと強く相関しており、非侵襲的環境下での顔面皮膚温度測定の信頼性を確認した。
• ランダムフォレストおよびK-最近傍法モデルは、融合された赤外線および可視光データから、個人の熱的快適性を高い精度で予測した。
• 放射計測のない赤外線画像は、大規模なデータセットで学習された場合、放射計測のない状態でも熱的快適性予測の可能性を示した。
• 赤外線および可視光データの統合は、単独で使用する場合と比較して、予測性能を顕著に向上させた。
• 本研究では、機械学習モデルが低価格で非侵襲的なイメージングシステムから、複雑な熱的快適性のパターンを効果的に学習できることを確認した。
• 結果から、実世界の建物環境においてスケーラブルで自動化された熱的快適性モニタリングシステムの実装が可能であることが示された。