[论文解读] MonteCarloMeasurements.jl: Nonlinear Propagation of Arbitrary Multivariate Distributions by means of Method Overloading

Fredrik Bagge Carlson|arXiv (Cornell University)|Jan 21, 2020

Forecasting Techniques and Applications被引用 14

一句话总结

该论文介绍了 MonteCarloMeasurements.jl，这是一个 Julia 软件包，通过方法重载技术，实现了使用任意多变量概率分布对非线性函数进行传播。通过将分布表示为行为类似实数的无权重粒子集（Particles），该框架可无缝集成到现有代码中，支持 SIMD 优化，并能实现通过常微分方程求解器和自动微分进行不确定性传播，从而支持稳健优化。

ABSTRACT

This manuscript outlines a software package that facilitates working with probability distributions by means of Monte-Carlo methods, in a way that allows for propagation of multivariate probability distributions through arbitrary functions. We provide a \\emph{type} that represents probability distributions by an internal vector of unweighted samples, \ exttt{Particles}, which is a subtype of a \ exttt{Real} number and behaves just like a regular real number in calculations by means of method overloading. This makes the software easy to work with and presents minimal friction for the user. We highlight how this design facilitates optimal usage of SIMD instructions and showcase the package for uncertainty propagation through an off-the-shelf ODE solver, as well as for robust probabilistic optimization with automatic differentiation.

研究动机与目标

• 解决在科学计算中将复杂、任意的多变量概率分布通过非线性函数进行传播的挑战。
• 通过在算术运算中将分布作为一等类型自然地表示，降低用户在概率计算中的使用门槛。
• 通过无权重粒子表示原生支持 SIMD 指令，实现高效计算。
• 支持高级用例，如常微分方程解的不确定性量化和通过自动微分实现的稳健优化。
• 提供一个轻量级、可组合的接口，可与现有的 Julia 软件栈无缝集成。

提出的方法

• 引入一种自定义类型 `Particles`，它是 `Real` 的子类型，内部以无权重样本的形式存储表示概率分布。
• 通过方法重载使 `Particles` 在算术运算和函数调用中表现得如同实数，实现透明集成。
• 采用蒙特卡洛采样并使用无权重粒子表示任意多变量分布，无需依赖概率密度函数。
• 利用 Julia 的多分派和类型系统，实现数学运算中高效且通用的计算。
• 通过将粒子数据结构对齐以支持并行处理，利用 SIMD 向量化优化性能。
• 通过将分布作为标准函数的输入，与现有常微分方程求解器和自动微分工具集成。

实验结果

研究问题

• RQ1 如何以最小的用户操作代价，将任意多变量概率分布通过非线性函数进行传播？
• RQ2 无权重粒子表示能否在概率数值方法中实现高效且类型稳定的计算？
• RQ3 Julia 中的方法重载在多大程度上能够实现不确定性传播与现有科学计算代码的无缝集成？
• RQ4 在实际应用中，基于粒子的方法在计算性能和内存使用方面具有怎样的可扩展性？
• RQ5 该框架能否有效支持通过自动微分实现常微分方程解的不确定性量化和稳健优化？

主要发现

• `Particles` 类型通过方法重载成功实现了对任意函数的透明、类型稳定的多变量分布传播。
• 该软件包通过粒子样本的高效内存布局，原生利用 SIMD 指令实现了高性能计算。
• 通过极少的代码修改，即在现成的常微分方程求解器中实现了不确定性传播，展示了其实际可用性。
• 与自动微分的集成使得稳健的概率优化成为可能，凸显了该框架的通用性。
• 该方法无需参数假设或密度函数评估，即可支持任意多变量分布。
• 软件设计最大限度地降低了用户使用门槛，用户可编写标准算术代码，系统自动处理不确定性传播。