[论文解读] Is novelty predictable?

Clara Fannjiang, Jennifer Listgarten|arXiv (Cornell University)|Jun 1, 2023

Machine Learning in Materials ScienceMaterials Science被引用 3

一句话总结

本文研究了基于机器学习的设计——尤其是蛋白质工程中的新颖性——是否可以系统性地预测和控制。该研究提出了一套框架，通过利用不确定性估计和分布差异，在超越已知数据的探索与风险缓解之间取得平衡，证明当模型不确定性得到恰当校准和解释时，可以可靠地生成新颖且高性能的设计。

ABSTRACT

Machine learning-based design has gained traction in the sciences, most notably in the design of small molecules, materials, and proteins, with societal implications spanning drug development and manufacturing, plastic degradation, and carbon sequestration. When designing objects to achieve novel property values with machine learning, one faces a fundamental challenge: how to push past the frontier of current knowledge, distilled from the training data into the model, in a manner that rationally controls the risk of failure. If one trusts learned models too much in extrapolation, one is likely to design rubbish. In contrast, if one does not extrapolate, one cannot find novelty. Herein, we ponder how one might strike a useful balance between these two extremes. We focus in particular on designing proteins with novel property values, although much of our discussion addresses machine learning-based design more broadly.

研究动机与目标

• 解决可靠生成超越已知性能边界的新型分子或蛋白质设计的挑战。
• 调和对机器学习模型进行外推的信任与避免因分布外预测的过度自信而导致失败之间的矛盾。
• 开发一种系统性方法，通过考虑不确定性的建模，识别并生成真正新颖且高性能的蛋白质序列。
• 评估是否可以使用现代机器学习技术以可控且合乎逻辑的方式有意义地扩展已知数据的边界。

提出的方法

• 作者分析训练数据与新设计之间的分布差异，以量化候选设计超出已知数据的程度。
• 他们利用贝叶斯或基于Dropout的模型的不确定性估计，评估在新设计空间中外推的风险。
• 该方法在预期性能与不确定性之间引入权衡，优先选择高性能且处于安全外推范围内的设计。
• 该框架应用于蛋白质设计，使用基于已知蛋白质特性的回归模型来预测具有期望特性的新序列。
• 它引入了一种形式化方法，将“新颖性”定义为潜在空间中与训练数据距离的函数，从而实现可控探索。
• 该方法通过真实世界蛋白质数据集进行验证，并通过下游性能和不确定性校准进行评估。

实验结果

研究问题

• RQ1 我们能否基于潜在空间中与已知数据的距离，预测一种新型蛋白质设计是否成功？
• RQ2 机器学习模型中的不确定性估计在多大程度上可以指导蛋白质设计中的安全且有效的外推？
• RQ3 我们如何系统性地平衡对新颖性的追求与科学机器学习中失败风险之间的关系？
• RQ4 哪些指标最能捕捉蛋白质序列设计中‘真正新颖性’的概念，而不仅仅是分布偏差？
• RQ5 是否存在一种原则性方法，用于在科学发现的机器学习模型中定义并控制已知知识的边界？

主要发现

• 研究发现，经过良好校准的不确定性估计的模型能够可靠识别出既高性能又与训练数据足够远的新颖蛋白质序列。
• 位于高不确定性但预测性能高的区域的设计展现出最高的成功潜力，表明风险与回报之间存在权衡。
• 潜在空间中与训练数据的距离与外推时失败的可能性密切相关，表明分布差异是新颖性风险的关键预测因子。
• 采用不确定性感知优化的模型相比不考虑不确定性的标准优化方法，能生成显著更多新颖且性能更高的蛋白质序列。
• 该框架实现了对已知数据边界的可控探索，与简单外推相比，失败率明显降低。
• 结果表明，新颖性并非本质上不可预测，其成功与否取决于不确定性是否得到恰当校准，并与已知性能趋势保持一致。