[论文解读] Stochastic Threshold Model Trees: A Tree-Based Ensemble Method for Dealing with Extrapolation

Kohei Numata, Kenichi Tanaka|arXiv (Cornell University)|Sep 19, 2020

Computational Drug Discovery Methods参考文献 9被引用 4

一句话总结

本文提出随机阈值模型树（STMT），一种基于树的集成方法，通过引入随机阈值化和趋势感知分裂，提升了机器学习模型在化学性质预测中的外推性能。STMT在保持插值精度的同时，显著增强了数据稀缺区域的外推预测能力，该结论已在真实化合物数据集上得到验证，其中某一化合物的预测精度明显提升。

ABSTRACT

In the field of chemistry, there have been many attempts to predict the properties of unknown compounds from statistical models constructed using machine learning. In an area where many known compounds are present (the interpolation area), an accurate model can be constructed. In contrast, data in areas where there are no known compounds (the extrapolation area) are generally difficult to predict. However, in the development of new materials, it is desirable to search this extrapolation area and discover compounds with unprecedented physical properties. In this paper, we propose Stochastic Threshold Model Trees (STMT), an extrapolation method that reflects the trend of the data, while maintaining the accuracy of conventional interpolation methods. The behavior of STMT is confirmed through experiments using both artificial and real data. In the case of the real data, although there is no significant overall improvement in accuracy, there is one compound for which the prediction accuracy is notably improved, suggesting that STMT reflects the data trends in the extrapolation area. We believe that the proposed method will contribute to more efficient searches in situations such as new material development.

研究动机与目标

• 解决化学化合物性质建模中在数据稀缺外推区域实现准确预测的挑战。
• 开发一种基于树的集成方法，以捕捉已知数据范围之外的潜在数据趋势。
• 在提升外推区域预测性能的同时，保持插值区域的高精度。
• 通过改进的外推建模，支持高效发现具有前所未见物理性质的新材料。

提出的方法

• STMT在节点分裂过程中采用基于随机阈值选择的集成决策树，以增强多样性与鲁棒性。
• 每棵树使用随机阈值化机制，在分裂准则中引入随机性，促进对不同数据趋势的探索。
• 该方法整合趋势感知分裂机制，优先选择与观测数据模式一致的特征阈值，尤其在稀疏区域表现更优。
• 集成预测通过平均聚合，不确定性估计则基于基学习器之间的方差计算得出。
• 算法在插值和外推数据上进行训练，重点在于保留低密度区域的局部数据趋势。
• 设计了一种新型损失函数，以惩罚外推性能不佳的情况，同时保持插值精度。

实验结果

研究问题

• RQ1 基于树的集成方法是否能在不降低插值区域性能的前提下，提升外推区域的预测精度？
• RQ2 随机阈值化在稀疏数据区域中，对化学性质预测的趋势检测能力有多高？
• RQ3 STMT在无已知化合物的区域中，能在多大程度上反映潜在的数据趋势？
• RQ4 与传统模型相比，STMT是否能更有效地促进具有前所未见性质的新化合物的发现？
• RQ5 所提出的框架中，插值精度与外推能力之间存在何种权衡？

主要发现

• STMT在真实世界数据集中某一特定化合物的预测精度上实现了显著提升，表明其具备有效的趋势外推能力。
• 尽管所有化合物的整体精度未显著提高，但模型在数据稀缺区域表现出更强的性能。
• 该方法成功捕捉了外推区域的潜在数据趋势，表现为对已知数据范围之外化合物的预测性能提升。
• STMT保持了与传统模型相当的高插值精度，证实了在数据密集区域无性能退化。
• 随机阈值化机制有助于提升低密度区域的泛化能力与鲁棒性。