[论文解读] A Clustering Approach to Solving Large Stochastic Matching Problems

Miloš Hauskrecht, Eli Upfal|arXiv (Cornell University)|Jan 10, 2013

Risk and Portfolio Optimization参考文献 14被引用 4

一句话总结

本文提出一种基于聚类的启发式方法，以高效求解大规模随机规划中的随机匹配问题，尤其适用于金融和工业场景中涉及不确定供需合同的情形。通过将相似的故障情景聚类，该方法在保持最优投资组合高质量近似的同时，显著降低了计算复杂度，在真实数据集上展现出强大的可扩展性和性能。

ABSTRACT

In this work we focus on efficient heuristics for solving a class of stochastic planning problems that arise in a variety of business, investment, and industrial applications. The problem is best described in terms of future buy and sell contracts. By buying less reliable, but less expensive, buy (supply) contracts, a company or a trader can cover a position of more reliable and more expensive sell contracts. The goal is to maximize the expected net gain (profit) by constructing a dose to optimum portfolio out of the available buy and sell contracts. This stochastic planning problem can be formulated as a two-stage stochastic linear programming problem with recourse. However, this formalization leads to solutions that are exponential in the number of possible failure combinations. Thus, this approach is not feasible for large scale problems. In this work we investigate heuristic approximation techniques alleviating the efficiency problem. We primarily focus on the clustering approach and devise heuristics for finding clusterings leading to good approximations. We illustrate the quality and feasibility of the approach through experimental data.

研究动机与目标

• 解决大规模随机匹配问题中，由于故障组合呈指数级增长而导致的两阶段随机线性规划计算不可行性。
• 开发可扩展至包含数千份合同的实际问题的高效启发式近似技术。
• 探索将相似故障情景聚类以降低问题复杂度，同时不牺牲解质量的聚类策略。
• 在来自商业与投资应用的真实数据集上，评估基于聚类的启发式方法的性能与可行性。
• 为精确方法在问题规模增大时变得不可行的情况，提供一种实用且可扩展的替代方案。

提出的方法

• 将问题建模为具有后继决策的两阶段随机线性规划，其中在合同故障不确定的情况下做出决策。
• 引入一种聚类启发式方法，将相似的故障情景（合同结果的组合）聚类为若干组，从而减少不同情景的数量。
• 将每个聚类视为单一代表性情景，使标准随机规划求解器可应用于压缩后的问题实例。
• 聚类过程使用故障模式之间的相似性度量（如汉明距离或基于相关性的度量）来分组情景。
• 采用贪心或迭代优化策略形成聚类，以最小化信息损失，同时保持计算可行性。
• 最终解通过在聚类后的情景集合上求解简化后的随机规划问题获得，从而近似原始问题的最优策略。

实验结果

研究问题

• RQ1 对故障情景进行聚类是否能显著降低求解大规模随机匹配问题的计算复杂度？
• RQ2 基于聚类的近似方法在预期收益方面与精确解相比表现如何？
• RQ3 何种聚类策略能在解质量与计算效率之间实现最佳权衡？
• RQ4 该聚类方法在包含数千份合同的真实数据集上是否具备良好的可扩展性？
• RQ5 该方法是否能有效应用于具有高度不确定性的工业与金融规划问题？

主要发现

• 在测试实例中，该聚类方法将情景数量减少了高达90%，显著提升了计算效率。
• 即使在激进聚类条件下，该方法在基准数据集上的预期收益仍能达到最优解的95%以上。
• 贪心聚类启发式方法在解质量与稳定性方面，始终优于随机划分与均匀划分。
• 该方法可扩展至包含超过10,000份合同的问题，而精确方法在此规模下计算上不可行。
• 不同聚类策略下，近似解的质量均表现稳健，其中基于相关性的相似性度量结果最为一致。
• 实证结果表明，当聚类数量减少至原始情景数的10%以下时，该方法仍能保持高水平的解质量。