[논문 리뷰] Gradient boosting machines and careful pre-processing work best: ASHRAE Great Energy Predictor III lessons learned

Clayton Miller, Hao Liu외 1명|arXiv (Cornell University)|2022. 02. 07.

Energy Load and Power Forecasting인용 수 4

한 줄 요약

이 논문은 ASHRAE Great Energy Predictor III 경쟁에서 상위 성능을 낸 솔루션을 분석하여, 기울기 부스팅 머신—특히 LightGBM—과 철저한 특징 공학 및 전처리가 장기적인 건물 에너지 예측에서 가장 높은 정확도를 달성하는 데 기여했다고 밝힌다. 연구는 데이터 전처리와 특징 추출 단계가 가장 중요한 단계로 규명되었으며, 상위 팀들이 주로 Python과 Jupyter 노트북을 사용했다.

ABSTRACT

The ASHRAE Great Energy Predictor III (GEPIII) competition was held in late 2019 as one of the largest machine learning competitions ever held focused on building performance. It was hosted on the Kaggle platform and resulted in 39,402 prediction submissions, with the top five teams splitting $25,000 in prize money. This paper outlines lessons learned from participants, mainly from teams who scored in the top 5% of the competition. Various insights were gained from their experience through an online survey, analysis of publicly shared submissions and notebooks, and the documentation of the winning teams. The top-performing solutions mostly used ensembles of Gradient Boosting Machine (GBM) tree-based models, with the LightGBM package being the most popular. The survey participants indicated that the preprocessing and feature extraction phases were the most important aspects of creating the best modeling approach. All the survey respondents used Python as their primary modeling tool, and it was common to use Jupyter-style Notebooks as development environments. These conclusions are essential to help steer the research and practical implementation of building energy meter prediction in the future.

연구 동기 및 목표

• ASHRAE Great Energy Predictor III 경쟁에서 상위 성능을 낸 팀들이 사용한 가장 효과적인 머신러닝 기법과 워크플로우를 규명하기 위해.
• 장기적인 건물 에너지 예측에서 높은 정확도를 달성하기 위해 데이터 전처리와 특징 공학이 차지하는 역할을 이해하기 위해.
• 경쟁에서 고득점 팀들이 선호하는 도구, 프로그래밍 언어, 개발 환경을 평가하기 위해.
• 건축 환경 전문가들이 데이터 과학에 접근하는 데 있어 겪는 장벽을 분석하고, 건물 에너지 연구 분야에서 머신러닝의 광범위한 도입을 위한 길을 제안하기 위해.
• 향후 머신러닝 경쟁과 실생활 응용 분야에서 건물 에너지 성능 예측에 실질적인 통찰을 제공하기 위해.

제안 방법

• ASHRAE GEPIII 랭킹 상위 5%에 속한 50명의 참가자 중 27명의 개인에게 후기 경쟁 설문조사를 실시하여, 인구통계, 모델링 워크플로우, 도구 선호도를 중점적으로 조사했다.
• 공개된 노트북, 경쟁 제출물, 수상 팀의 문서를 분석하여 설문 조사 결과를 검증하고 상위 솔루션의 기술적 세부 정보를 도출했다.
• 분석은 데이터 전처리, 특징 공학, 모델 선택, 하이퍼파rameter 튜닝, 앙상블 스태킹의 다섯 단계로 구성된 머신러닝 워크플로우에 집중했다.
• LightGBM가 가장 널리 사용된 기울기 부스팅 프레임워크로 확인되었으며, 여러 GBM 모델을 조합한 앙상블 방법이 뛰어난 성능을 보였다.
• 추가적인 행동 및 맥락 정보 소스의 포함 여부 등 데이터 다양성이 모델의 일반화 능력과 정확도에 미치는 영향을 평가했다.
• 참가자들로부터의 정성적 피드백을 활용하여 경쟁 설계 선호도를 평가하고, 건축 환경 분야의 비전문가들이 머신러닝 도구를 도입하는 데 겪는 과제를 파악했다.

실험 결과

연구 질문

• RQ1 다양한 건물 유형과 기후 조건에서 장기적인 건물 에너지 예측에서 높은 정확도를 달성하는 데 가장 효과적인 머신러닝 모델과 알고리즘은 무엇인가?
• RQ2 모델 아키텍처나 하이퍼파rameter 튜닝에 비해 데이터 전처리와 특징 공학이 모델 성능 향상에 기여한 정도는 어느 정도인가?
• RQ3 상위 성능 팀들이 가장 흔히 사용한 도구와 개발 환경는 무엇이며, 이들이 솔루션 품질에 어떤 영향을 미쳤는가?
• RQ4 건축 환경 전문가들이 건물 에너지 연구 분야에서 데이터 과학과 머신러닝 응용에 참여하지 못하는 주요 장벽은 무엇인가?
• RQ5 오픈 데이터셋과 공유된 코드 노트북은 데이터 과학자와 건물 에너지 전문가 간 격차를 어떻게 해소하는 데 기여할 수 있는가?

주요 결과

• 상위 성능 솔루션은 주로 기울기 부스팅 머신(GBM) 모델의 앙상블이었으며, LightGBM가 가장 널리 사용되고 효과적인 구현으로 확인되었다.
• 설문 응답자들은 모델 선택이나 하이퍼파rameter 튜닝보다 데이터 전처리와 특징 공학 단계를 모델링 파이프라인에서 가장 중요한 단계로 평가했으며, 이는 중요도 면에서 뛰어났다.
• 모든 설문 응답자가 주로 Python을 사용했으며, Jupyter 스타일의 노트북이 모델 프로토타이핑과 공유를 위한 주요 개발 환경로 사용되었다.
• 오픈소스 코드와 데이터셋이 제공됨에도 불구하고, 건축 환경 전문가들은 상위 경쟁자 중에서 여전히 부족하게 나타나, 데이터 과학 기술 습득에 대한 스킬 격차가 존재함을 시사한다.
• 수상 솔루션은 대부분 오픈소스로 공개되었으며, 초보자와 현업 종사자가 현대적인 데이터 과학 기법을 건물 에너지 데이터에 적용하는 데 유용한 학습 자료를 제공한다.
• 연구에서 모델 정확도가 데이터 품질과 특징 표현에 매우 민감하게 반응하는 것으로 밝혀졌으며, 데이터의 폭과 맥락의 향상이 예측 성능 향상에 크게 기여했다.