[论文解读] Solving Inverse Problems with Flow-based Models via Model Predictive Control

George Webber, Alexander H. Denker+2 more|arXiv (Cornell University)|Jan 30, 2026

Generative Adversarial Networks and Image Synthesis被引用 0

一句话总结

MPC-Flow 将带有预训练流模型的条件生成重新表述为一系列短期最优控制问题，在推理阶段实现无需训练的引导，具备内存效率并可扩展到大模型。

ABSTRACT

Flow-based generative models provide strong unconditional priors for inverse problems, but guiding their dynamics for conditional generation remains challenging. Recent work casts training-free conditional generation in flow models as an optimal control problem; however, solving the resulting trajectory optimisation is computationally and memory intensive, requiring differentiation through the flow dynamics or adjoint solves. We propose MPC-Flow, a model predictive control framework that formulates inverse problem solving with flow-based generative models as a sequence of control sub-problems, enabling practical optimal control-based guidance at inference time. We provide theoretical guarantees linking MPC-Flow to the underlying optimal control objective and show how different algorithmic choices yield a spectrum of guidance algorithms, including regimes that avoid backpropagation through the generative model trajectory. We evaluate MPC-Flow on benchmark image restoration tasks, spanning linear and non-linear settings such as in-painting, deblurring, and super-resolution, and demonstrate strong performance and scalability to massive state-of-the-art architectures via training-free guidance of FLUX.2 (32B) in a quantised setting on consumer hardware.

研究动机与目标

• 使用基于流的模型作为逆问题的先验并解决无需重新训练的条件设定问题的动机。
• 提出一个实用的推理时引导框架（MPC-Flow），将流引导至与数据一致的解。
• 分析将 MPC-Flow 与底层最优控制目标联系起来的理论保证。
• 展示递归地平面与短平面变体在最优性、内存使用和可扩展性之间的权衡。
• 在线性/非线性图像恢复方面展示性能，并扩展到如 FLUX.2（32B）等大模型。

提出的方法

• 将与流模型相关的逆问题求解表述为带数据一致性终端成本 Phi 的确定性最优控制问题。
• 引入 MPC-Flow：在每个时间步求解一系列有限时域子问题，并仅应用最优控制的第一部分（滚动时域）。
• 提出两种时域制：递归时域控制（RHC，H = 1 − t）和 Delta-t 时域控制（H = Δt）。
• 给出理论结果，将 MPC-Flow 与全局最优控制目标联系起来（在某些条件下的最优性）。
• 证明 Delta-t 时域若将中间成本 Phi_MPC 设为值函数，则可获得全局最优策略；讨论实际的欧拉离散化和内存收益。
• 展示一个特殊的 K=1 单步 RHC 变体，避免对整条轨迹的反向传播以提升可扩展性。

Figure 1 : MPC-Flow strategy for guiding flow-based generative models toward a target objective. Starting from the current state, MPC-Flow plans a sequence of velocity adjustments that steer the flow toward the objective while keeping the intervention small (A). Only the initial part of the plan is

实验结果

研究问题

• RQ1 MPC-Flow 是否能在不重新训练的情况下，引导预训练的流模型朝向数据一致的解？
• RQ2 不同的时域选择（RHC 与 Delta-t）如何影响最优性、内存使用和对大流架构的可扩展性？
• RQ3 哪些理论保证将 MPC-Flow 子问题与底层全局最优控制目标联系起来？
• RQ4 MPC-Flow 在线性和非线性图像恢复任务中的表现如何，并能否扩展到 32B 参数的流模型？
• RQ5 哪些实际考虑因素（初始化、离散化、反向传播成本）会影响推理时的性能？

主要发现

• MPC-Flow 在基于流的逆问题中提供了强有力的推理时引导，在若干设置中优于全局最优控制基线。
• 在适当的子问题求解条件下，递归时域（H = 1 − t）可实现最优轨迹，当使用 K=1 时具有内存优势。
• 将 Phi_MPC 设为值函数的 Delta-t 时域在全局最优性方面可达成全局最优，采用实用的一步欧拉近似提供可行的启发。
• 单步（K=1）RHC 配置显著降低了内存和计算开销，使在消费级硬件上扩展到如 FLUX.2（32B）等大模型成为可能。
• 在去噪、去模糊、超分辨、修复、非线性去模糊等任务中，MPC-Flow 的变体在效率上常优于 FlowGrad 和 OC-Flow，且在重建质量方面也具有优势。
• 该方法实现了对大规模预训练流模型的无需训练引导，包括量化版本，且结果具有竞争力。

Figure 3 : Comparison of MPC-RHC with varying $K$ compared to the global optimal control solution. All approaches use the same initial value ${\bm{x}}_{0}$ and $\lambda=2500$ .