[論文レビュー] Gradient boosting machines and careful pre-processing work best: ASHRAE Great Energy Predictor III lessons learned

Clayton Miller, Hao Liu+1 more|arXiv (Cornell University)|Feb 7, 2022

Energy Load and Power Forecasting被引用数 4

ひとこと要約

本論文はASHRAE Great Energy Predictor IIIコンペティションの上位スコアを記録したソリューションを分析し、勾配ブースティングマシン（特にLightGBM）に加え、きめ細やかな特徴工学と前処理が長期的な建物エネルギーサイクル予測において最も高い精度を達成したことを明らかにした。研究では、データ前処理と特徴抽出が最も重要な段階であると特定し、トップチームが主にPythonとJupyterノートブックを用いていたことを明らかにした。

ABSTRACT

The ASHRAE Great Energy Predictor III (GEPIII) competition was held in late 2019 as one of the largest machine learning competitions ever held focused on building performance. It was hosted on the Kaggle platform and resulted in 39,402 prediction submissions, with the top five teams splitting $25,000 in prize money. This paper outlines lessons learned from participants, mainly from teams who scored in the top 5% of the competition. Various insights were gained from their experience through an online survey, analysis of publicly shared submissions and notebooks, and the documentation of the winning teams. The top-performing solutions mostly used ensembles of Gradient Boosting Machine (GBM) tree-based models, with the LightGBM package being the most popular. The survey participants indicated that the preprocessing and feature extraction phases were the most important aspects of creating the best modeling approach. All the survey respondents used Python as their primary modeling tool, and it was common to use Jupyter-style Notebooks as development environments. These conclusions are essential to help steer the research and practical implementation of building energy meter prediction in the future.

研究の動機と目的

• ASHRAE Great Energy Predictor IIIコンペティションの上位5％にランクインしたチームが採用した、最も効果的な機械学習技術およびワークフローを特定すること。
• 長期的な建物エネルギーサイクル予測において、高い精度を達成するうえで、データ前処理と特徴工学が果たす役割を理解すること。
• コンペティションで高得点を記録したチームが好んで使用したツール、プログラミング言語、開発環境を評価すること。
• 建築環境分野の専門家がデータサイエンスに参画する際の障壁を特定し、建物エネルギーリサーチにおける機械学習の広範な採用に向けた道筋を示すこと。
• 今後の機械学習コンペティションおよび建物エネルギーパフォーマンス予測の実世界応用に向け、実用的なインサイトを提供すること。

提案手法

• ASHRAE GEPIIIの上位5％にランクインした50名の参加者の中から27名にアンケートを実施し、人種的背景、モデリングワークフロー、ツールの好みについて調査した。
• 上位チームの公開ノートブック、コンペティションへの提出物、優勝チームのドキュメンテーションを分析し、アンケートの結果を検証し、上位ソリューションの技術的詳細を抽出した。
• 分析は、データ前処理、特徴工学、モデル選定、ハイパーパramータチューニング、アンサンブルスタッキングの5段階からなる機械学習ワークフローに焦点を当てた。
• LightGBMが最も広く使用された勾配ブースティングフレームワークであり、複数のGBMモデルを組み合わせたアンサンブル手法が優れた性能を示した。
• 追加の行動的および文脈的データソースの統合が、モデルの汎化性能と精度に与える影響を評価した。
• 参加者からの定性的フィードバックを活用し、コンペティション設計の好みを評価し、建築環境分野の非専門家が機械学習ツールを採用する際の課題を特定した。

実験結果

リサーチクエスチョン

• RQ1 多様な建物タイプや気候帯をカバーする長期的な建物エネルギーサイクル予測において、最も効果的な機械学習モデルおよびアルゴリズムは何か？
• RQ2 モデルアーキテクチャーやハイパーパramータチューニングと比較して、データ前処理と特徴工学がモデル性能に与える影響はどの程度か？
• RQ3 上位チームが最も多く使用したツールと開発環境は何か？ それらはソリューションの品質にどのように影響したか？
• RQ4 建築環境分野の専門家がデータサイエンスや機械学習の応用に参画できない主な障壁は何か？
• RQ5 オープンデータセットと共有されたコードノートブックは、データサイエンティストと建物エネルギーリサーチャーの間のギャップをどのように埋めることができるか？

主な発見

• 上位スコアを記録したソリューションの多くは、勾配ブースティングマシン（GBM）のアンサンブルであり、特にLightGBMが最も人気で効果的だった。
• アンケート回答者全員が、モデル選定やハイパーパramータチューニングよりも、データ前処理と特徴工学をモデリングパイプラインの中で最も重要な段階と評価した。
• すべてのアンケート回答者が主にPythonをプログラミング言語として使用しており、Jupyterスタイルのノートブックがモデルプロトタイプ作成および共有の主要な開発環境であった。
• オープンソースのコードとデータセットが提供されているにもかかわらず、建築環境分野の専門家は上位コンペティターに占める割合が低く、データサイエンスへの習得スキルのギャップが顕在化している。
• 優勝ソリューションの多くはオープンソース化されており、初心者や実務者が最新のデータサイエンス技術を建物エネルギーデータに適用するうえで貴重な学習リソースを提供している。
• 本研究では、モデルの精度がデータ品質と特徴表現に極めて敏感であることが判明し、データの多様性と文脈の拡充が予測性能を顕著に向上させた。