[论文解读] Ideal Partition of Resources for Metareasoning

Eric Horvitz, John S. Breese|arXiv (Cornell University)|Oct 18, 2021

Multi-Agent Systems and Negotiation参考文献 11被引用 17

一句话总结

本文提出了元推理-划分问题，旨在在元推理（规划如何解决问题）与基础层执行（实际解决问题）之间，对有限的计算资源进行理想分配。通过建模不同问题类别间的资源权衡，证明了最优的资源划分可最大化解决方案的价值，尤其在元推理受到约束以避免过度投入时，收益尤为显著。

ABSTRACT

We can achieve significant gains in the value of computation by metareasoning about the nature or extent of base-level problem solving before executing a solution. However, resources that are irrevocably committed to metareasoning are not available for executing a solution. Thus, it is important to determine the portion of resources we wish to apply to metareasoning and control versus to the execution of a solution plan. Recent research on rational agency has highlighted the importance of limiting the consumption of resources by metareasoning machinery. We shall introduce the metareasoning-partition problem--the problem of ideally apportioning costly reasoning resources to planning a solution versus applying resource to executing a solution to a problem. We exercise prototypical metareasoning-partition models to probe the relationships between time allocated to metareasoning and to execution for different problem classes. Finally, we examine the value of metareasoning in the context of our functional analyses.

研究动机与目标

• 解决在元推理与基础层问题求解之间分配有限计算资源的挑战。
• 识别用于规划（元推理）的时间与用于执行解决方案的时间之间的理想权衡。
• 研究资源分配如何影响不同问题类别下的解决方案质量和计算效率。
• 将元推理-划分问题形式化为理性代理与有限最优性中的核心问题。
• 通过资源权衡的功能分析，评估元推理的价值。

提出的方法

• 将元推理-划分问题形式化为有限理性背景下的决策挑战。
• 开发典型模型，以模拟不同类型问题在元推理与执行之间的时间分配。
• 应用功能分析，评估在不同资源划分下元推理的价值。
• 以时间分配作为元推理和执行阶段计算成本的代理指标。
• 采用受有限最优性启发的框架，评估资源投入的权衡。
• 分析元推理持续时间对解决方案质量与整体计算价值的影响。

实验结果

研究问题

• RQ1 对于给定的问题类别，应将多少比例的资源分配给元推理，多少比例分配给执行，才能达到最优？
• RQ2 作为元推理时间的函数，解决方案的价值如何变化？
• RQ3 在哪些方面，对元推理的过度投入会降低整体解决方案价值？
• RQ4 不同类型的问题如何影响推理资源的理想划分？
• RQ5 元推理投入与最终解决方案质量之间的功能关系是什么？

主要发现

• 最优的资源划分通过平衡元推理与执行，显著提升了计算的价值。
• 过度的元推理会因资源过度投入而降低解决方案价值，凸显了对元推理实施约束的必要性。
• 元推理的价值具有情境依赖性，当其消耗了过多总资源预算时，其价值会下降。
• 典型模型表明，当元推理时间被限制在总时间的一小部分时，解决方案质量的提升达到最大。
• 本研究证实，理性代理需要对元推理资源消耗实施显式控制，才能实现有限最优性。
• 功能分析表明，理想划分因问题类别而异，不存在通用的资源分配比例。