[논문 리뷰] Utilizing Domain Knowledge: Robust Machine Learning for Building Energy Prediction with Small, Inconsistent Datasets

Xia Chen, Manav Mahan Sing외 1명|arXiv (Cornell University)|2023. 01. 23.

Energy Efficiency and Management인용 수 4

한 줄 요약

이 논문은 도메인 특화 건물 에너지 원리를 기계학습 모델에 통합하여 강건성과 데이터 효율성을 향상시키는 지식 통합 접근법인 구성요소 기반 기계학습(CBML)을 제안한다. 모델 아키텍처에 구조적 및 물리적 지식을 통합함으로써 CBML은 소규모이고 일관성 없는 데이터셋에서도 뛰어난 성능을 달성한다—학습 시간을 단축하고 해석 가능성을 향상시키며, 표준 방법 대비 최대 98.75% 적은 데이터로도 효과적으로 활용할 수 있다.

ABSTRACT

The demand for a huge amount of data for machine learning (ML) applications is currently a bottleneck in an empirically dominated field. We propose a method to combine prior knowledge with data-driven methods to significantly reduce their data dependency. In this study, component-based machine learning (CBML) as the knowledge-encoded data-driven method is examined in the context of energy-efficient building engineering. It encodes the abstraction of building structural knowledge as semantic information in the model organization. We design a case experiment to understand the efficacy of knowledge-encoded ML in sparse data input (1% - 0.0125% sampling rate). The result reveals its three advanced features compared with pure ML methods: 1. Significant improvement in the robustness of ML to extremely small-size and inconsistent datasets; 2. Efficient data utilization from different entities' record collections; 3. Characteristics of accepting incomplete data with high interpretability and reduced training time. All these features provide a promising path to alleviating the deployment bottleneck of data-intensive methods and contribute to efficient real-world data usage. Moreover, four necessary prerequisites are summarized in this study that ensures the target scenario benefits by combining prior knowledge and ML generalization.

연구 동기 및 목표

• 건물 에너지 예측을 위한 기계학습에서의 데이터 의존성이라는 핵심적 한계를 해결하기 위해.
• 극도로 소규모이고 비일관성 있는 데이터셋에서도 강건성을 유지하는 기계학습 프레임워크를 개발하기 위해.
• 다양한 건물 출처에서 온 분산되고 불완전한 데이터의 효율적 활용을 가능하게 하기 위해.
• 통합된 도메인 지식을 통해 모델의 해석 가능성 향상과 학습 시간 단축을 위해.
• 데이터 기반 모델과 도메인 지식을 융합하는 데 성공하기 위한 전제 조건을 규명하기 위해.

제안 방법

• 구성요소 기반 기계학습(CBML)은 건물 에너지 시스템의 추상화를 모델 구조에 통합한 지식 인코딩 기계학습 프레임워크로 도입된다.
• 열역학, 환기· conditioning 시스템(HVAC) 동작, 건물 외피 특성 등의 도메인 지식이 모델 아키텍처 내에서 의미적 제약 조건으로 인코딩된다.
• 모듈러 설계를 사용하여 각 구성요소가 물리적 건물 시스템을 나타내며, 사전 정의된 관계와 제약 조건을 가진다.
• CBML은 하이브리드 학습 전략을 활용한다: 가용 데이터에 대한 지도 학습에 더해 물리 기반 정규화를 적용하여 도메인 일관성을 강제한다.
• 실제 세계의 데이터 부족 상황을 시뮬레이션하기 위해, 모델은 매우 극단적으로 샘플링된 데이터셋(전체 데이터의 1%에서 0.0125% 이하)으로 학습된다.
• 모델 성능 평가에는 극도로 희박하고 비일관성 있는 데이터 상황에서 표준 회귀 평가 지표(RMSE, R² 등)를 사용한다.

실험 결과

연구 질문

• RQ1 일반적인 건물 에너지 데이터의 1% 이하로 학습된 기계학습 모델이 신뢰할 수 있는 예측을 달성할 수 있는가?
• RQ2 도메인 지식을 통합하면 비일관성 있고 희박한 데이터에 대한 모델의 강건성이 어떻게 향상되는가?
• RQ3 지식 통합이 에너지 예측 모델의 학습 시간 단축과 해석 가능성 향상에 어느 정도 기여하는가?
• RQ4 건물 에너지 응용 분야에서 기계학습과 도메인 지식을 성공적으로 융합하기 위한 필수 전제 조건은 무엇인가?
• RQ5 일반적인 데이터 기반 모델에 비해 CBML은 일반화 능력과 데이터 효율성 측면에서 어떻게 비교되는가?

주요 결과

• CBML은 전체 크기의 0.0125%로 샘플링된 데이터셋에서 예측 강건성에 있어 뚜렷한 향상을 보였으며, 극도의 데이터 부족 상황에서도 순수 기계학습 모델을 능가했다.
• 모델은 이질적인 데이터 출처에서의 효율적인 데이터 활용을 보였으며, 불완전하거나 비일관성 있는 기록이 있는 상황에서도 높은 성능을 유지했다.
• 통합된 도메인 지식에 기인한 제약된 검색 공간 덕분에 학습 시간이 크게 단축되어 빠른 수렴이 가능했다.
• 각 구성요소의 행동이 알려진 물리 원칙과 일치함으로써 모델는 높은 해석 가능성을 보였으며, 추적 가능한 의사결정 과정을 제공했다.
• 성공적인 융합을 위해 네 가지 핵심 전제 조건을 규명했다: (1) 모듈러 모델 설계, (2) 도메인 규칙의 의미적 인코딩, (3) 데이터 이질성에 대한 내성성, (4) 일관된 물리적 일관성 강제.
• 데이터가 극도로 희박한 상황에서도 강력한 예측 성능(예: 낮은 RMSE)을 유지하여 데이터 품질 문제에 대한 뛰어난 내성성을 입증했다.