[论文解读] Learning policies for resource allocation in business processes

J. Middelhuis, Riccardo Lo Bianco+4 more|arXiv (Cornell University)|Apr 19, 2023

Scheduling and Optimization Algorithms被引用 4

一句话总结

本文提出了两种基于学习的资源分配优化方法：深度强化学习（DRL）和基于评分的值函数近似（SVFA）。DRL方法通过与环境交互学习自适应策略，在复合流程中平均优于基线方法13.1%；SVFA方法则利用经整理的特征与学习得到的权重对任务分配进行排序。

ABSTRACT

Efficient allocation of resources to activities is pivotal in executing business processes but remains challenging. While resource allocation methodologies are well-established in domains like manufacturing, their application within business process management remains limited. Existing methods often do not scale well to large processes with numerous activities or optimize across multiple cases. This paper aims to address this gap by proposing two learning-based methods for resource allocation in business processes to minimize the average cycle time of cases. The first method leverages Deep Reinforcement Learning (DRL) to learn policies by allocating resources to activities. The second method is a score-based value function approximation approach, which learns the weights of a set of curated features to prioritize resource assignments. We evaluated the proposed approaches on six distinct business processes with archetypal process flows, referred to as scenarios, and three realistically sized business processes, referred to as composite business processes, which are a combination of the scenarios. We benchmarked our methods against traditional heuristics and existing resource allocation methods. The results show that our methods learn adaptive resource allocation policies that outperform or are competitive with the benchmarks in five out of six scenarios. The DRL approach outperforms all benchmarks in all three composite business processes and finds a policy that is, on average, 12.7% better than the best-performing benchmark.

研究动机与目标

• 填补现有数据驱动业务流程优化（BPO）方法在处理多案例、复杂流程时无法扩展的空白。
• 克服现有方法（如表格型Q-learning和基于启发式的策略）在多样化流程模式下泛化能力不足的局限。
• 开发可扩展、自适应的学习型资源分配策略，以优化多个案例的平均周期时间。
• 在孤立的典型流程模式和真实场景下的复合流程上评估方法的泛化能力和鲁棒性。
• 证明DRL可在无需依赖手工设计特征的情况下学习有效策略，而SVFA则利用领域知识实现可解释的排序。

提出的方法

• 采用深度强化学习（DRL），其中智能体通过与仿真环境交互学习最优资源分配策略，使用神经网络近似Q值函数并自动提取高维状态特征。
• 实施基于评分的值函数近似（SVFA）方法，利用一组经整理的、基于领域知识的特征（如平均分配时间、资源利用率）计算每个资源分配的评分。
• 使用监督学习训练SVFA模型以预测分配的相对质量，奖励信号来源于仿真得到的周期时间。
• 使用贝叶斯优化对DRL与SVFA模型的超参数进行调优，以提升性能。
• 设计六种典型业务流程模型（如并行性、选择、高利用率等），并将其组合成三个真实场景下的复合流程，以测试可扩展性与泛化能力。
• 将两种方法与三种传统启发式方法（FIFO、SPT、LPT）以及文献中两种现有BPO方法进行基准对比。

Figure 1 : An example of a business process model of a loan application process with two activities and two resources. Cases arrive according to some distribution with rate $\lambda$ , and the loans are either accepted (AA) or rejected (RA). Each activity can be performed by both resources $r_{1}$ a

实验结果

研究问题

• RQ1 深度强化学习能否学习到在多样化业务流程模式下具有泛化能力的自适应资源分配策略，并优于传统启发式方法？
• RQ2 基于评分的值函数近似（SVFA）方法在利用经整理的特征与学习权重对资源分配进行排序方面效果如何？
• RQ3 当学习型方法被整合到包含混合流程模式的复杂复合业务流程中时，其可扩展性与性能保持程度如何？
• RQ4 在孤立与集成的流程场景下，所提方法与现有BPO方法相比，在平均周期时间减少方面表现如何？
• RQ5 流程前缀（即案例的执行历史）在提升资源分配决策中起到什么作用？未来扩展中是否可加以利用？

主要发现

• 基于DRL的方法在所有三个复合业务流程中均优于所有基线方法，平均在平均周期时间上比表现最佳的基线提升13.1%。
• 在六个孤立流程场景中的五个场景下，所提学习方法的表现与传统启发式方法及现有BPO方法持平或更优。
• SVFA方法在孤立场景中平均表现最佳，但在复合流程中泛化能力较差，而DRL在该场景下显著优于SVFA。
• 在并行性场景中，FIFO启发式方法优于两种学习方法，因其隐式优先考虑案例完成，突显当前模型在处理执行顺序方面存在局限。
• 研究结果表明，DRL可从原始状态信息中自动学习相关特征，无需人工特征工程，因此对不同流程结构具有高度适应性。
• 结果表明，尽管SVFA通过领域定制特征提供了可解释性，但DRL的端到端学习能力在复杂真实流程配置中展现出更优的可扩展性与鲁棒性。

Figure 2 : Agent’s perspective of the agent-environment interaction, adapted from [ 19 ] .