[논문 리뷰] Active learning of potential-energy surfaces of weakly-bound complexes with regression-tree ensembles

Yahya Saleh, Vishnu Sanjay외 3명|arXiv (Cornell University)|2021. 04. 01.

Machine Learning in Materials Science참고 문헌 100인용 수 7

한 줄 요약

이 논문은 약한 결합을 가진 분자 복합체의 정확한 전위에너지 표면(PES)을 효율적으로 구축하기 위해 회귀 트리 앙상블을 사용하는 새로운 주동 학습 프레임워크를 제안한다. 불확실성 샘플링과 스토하스틱 쿼리 바이 포레스트를 통한 분포 인식 샘플링을 조합함으로써, 불확실성 기반의 쿼리-바이-커미티에 비해 전자 구조 계산 횟수를 약 50% 감소시켰으며, 6차원의 피르롤(H₂O) PES에서 약 50,000개의 구성을 사용해 일반화 오차 11 cm⁻¹을 달성하였다.

ABSTRACT

Several pool-based active learning algorithms (AL) were employed to model potential energy surfaces (PESs) with a minimum number of electronic structure calculations. Theoretical and empirical results suggest that superior strategies can be obtained by sampling molecular structures corresponding to large uncertainties in their predictions while at the same time not deviating much from the true distribution of the data. To model PESs in an AL framework we propose to use a regression version of stochastic query by forest, a hybrid method that samples points corresponding to large uncertainties while avoiding collecting too many points from sparse regions of space. The algorithm is implemented with decision trees that come with relatively small computational costs. We empirically show that this algorithm requires around half the data to converge to the same accuracy in comparison to the uncertainty-based query-by-committee algorithm. Moreover, the algorithm is fully automatic and does not require any prior knowledge of the PES. Simulations on a 6D PES of \pyrrolew show that $\mathord{<}15\,000$ configurations are enough to build a PES with a generalization error of 16~\invcm, whereas the final model with around 50\,000 configurations has a generalization error of 11~\invcm.

연구 동기 및 목표

• 약한 결합을 가진 분자 복합체의 정확한 밀도함수 이론 기반 전위에너지 표면(PES)을 구축하기 위해 필요한 고비용 전자 구조 계산의 수를 최소화하는 것.
• 불확실성 기반 주동 학습의 한계를 해결하기 위해, 데이터 분포 인식을 샘플링 전략에 통합함으로써, 희소 영역과 이질적 데이터 포인트를 과다 쿼리하는 문제를 방지하는 것.
• 사전에 PES에 대한 지식이 필요 없이, 완전 자동화되고 확장 가능하며 계산적으로 효율적인 PES 구축 방법을 개발하는 것.
• 기존의 불확실성 기반 쿼리-바이-커미티에 비해 데이터 효율성과 수렴 속도에서 뛰어난 성능을 보이는 회귀 트리 기반 주동 학습 방법이 성능을 뛰어넘을 수 있음을 보여주는 것.

제안 방법

• 라벨이 부여되지 않은 분자 기하구조의 풀(pool)을 반복적으로 쿼리하여 에너지 계산을 수행하는 풀 기반 주동 학습 프레임워크를 채택한다.
• 스토하스틱 쿼리 바이 포레스트(SQF)의 회귀형 버전을 사용하여 높은 예측 불확실성을 가진 구성들을 선택하면서도, 희소 데이터 영역에서의 과다 샘플링을 방지한다.
• 결정 트리를 기반 추정기로 사용함으로써, 낮은 계산 비용과 앙상블 분산을 통한 내재된 불확실성 추정 기능을 확보한다.
• 랜덤 포레스트 회귀의 불확실성 정량화 기법을 활용해 각 반복 단계에서 정보량이 가장 많은 기하구조를 유도적으로 선정한다.
• 불확실성 감소와 데이터 분포의 정밀도를 균형 잡는 하이브리드 샘플링 전략을 적용하여, 이질적 데이터 포인트의 과다 샘플링을 방지한다.
• 새로운 데이터 포인트가 추가될 때마다 모델을 재학습하며, 일반화 성능을 보장하기 위해 정규화 제약 조건을 적용한다.

실험 결과

연구 질문

• RQ1 불확실성과 데이터 분포 인식을 조합한 하이브리드 주동 학습 전략이 PES 구축의 데이터 효율성 향상에 기여하는가?
• RQ2 제안된 회귀 트리 기반 주동 학습 방법이 불확실성 기반 쿼리-바이-커미티에 비해 수렴 속도와 데이터 효율성 측면에서 어떻게 비교되는가?
• RQ3 복잡한 약한 결합 PES에서 일반화 오차를 낮게 유지하면서도 전자 구조 계산 횟수를 얼마나 줄일 수 있는가?
• RQ4 이 방법은 PES의 사전 지식이나 체계의 안정점, 안정점 이외의 임계점 정보 없이도 완전 자동화가 가능한가?
• RQ5 6차원 PES에서 약한 결합 복합체인 피르롤(H₂O)에 대해 최소한의 구성 수로 어떤 정도의 정확도를 달성할 수 있는가?

주요 결과

• 제안된 주동 학습 방법은 회귀 트리 앙상블을 사용함으로써, 동일한 정확도를 달성하기 위해 기존의 불확실성 기반 쿼리-바이-커미티 알고리즘 대비 약 50% 적은 구성 수가 필요하다.
• 피르롤(H₂O)의 6차원 전위에너지 표면에서, 15,000개 미만의 구성으로 일반화 오차 16 cm⁻¹을 달성하였다.
• 약 50,000개의 구성으로 최종 모델이 일반화 오차 11 cm⁻¹을 달성하여, 중간 수준의 데이터 요구량으로도 높은 정확도를 확보하였다.
• 이 방법은 완전 자동화되어 있으며, PES의 최소점이나 안정점 등의 사전 지식이 필요 없어 광범위하게 적용 가능하다.
• 결정 트리의 사용 덕분에 낮은 계산 오버헤드를 확보하여, 고차원 PES에 대한 확장성과 반복적 정밀도 향상에 유리하다.
• 실증 결과는 불확실성과 데이터 분포를 균형 있게 고려함으로써 순수하게 불확실성 기반 샘플링에 비해 향상된 수렴 특성을 확보할 수 있음을 확인하였다.