[논문 리뷰] Solving Inverse Problems with Flow-based Models via Model Predictive Control

George Webber, Alexander H. Denker외 2명|arXiv (Cornell University)|2026. 01. 30.

Generative Adversarial Networks and Image Synthesis인용 수 0

한 줄 요약

MPC-Flow는 조건부 생성을 사전학습된 흐름 모델의 시퀀스로 재구성하여 짧은 기간의 최적 제어 문제로 바꿔, 추론 시 학습 없이도 메모리 효율성과 대형 모델로의 확장을 가능하게 한다.

ABSTRACT

Flow-based generative models provide strong unconditional priors for inverse problems, but guiding their dynamics for conditional generation remains challenging. Recent work casts training-free conditional generation in flow models as an optimal control problem; however, solving the resulting trajectory optimisation is computationally and memory intensive, requiring differentiation through the flow dynamics or adjoint solves. We propose MPC-Flow, a model predictive control framework that formulates inverse problem solving with flow-based generative models as a sequence of control sub-problems, enabling practical optimal control-based guidance at inference time. We provide theoretical guarantees linking MPC-Flow to the underlying optimal control objective and show how different algorithmic choices yield a spectrum of guidance algorithms, including regimes that avoid backpropagation through the generative model trajectory. We evaluate MPC-Flow on benchmark image restoration tasks, spanning linear and non-linear settings such as in-painting, deblurring, and super-resolution, and demonstrate strong performance and scalability to massive state-of-the-art architectures via training-free guidance of FLUX.2 (32B) in a quantised setting on consumer hardware.

연구 동기 및 목표

• 역문제에 대한 사전 기반으로 흐름 기반 모델을 프라이어로 사용하는 것의 동기를 부여하고 재학습 없이 조건화를 다루는 문제를 다룬다.
• 데이터-일치 해법으로 흐름을 유도하기 위한 실용적 추론 시 가이드 프레임워크(MPC-Flow)를 제안한다.
• MPC-Flow와 기저 최적 제어 목표 사이의 이론적 보장을 분석한다.
• 재감쇠-호라이즌과 짧은 호라이즌 변형이 최적성, 메모리 사용, 확장성 사이의 트레이드를 보여준다.
• 선형/비선형 이미지 복원에서의 성능을 시연하고 FLUX.2(32B)와 같은 대형 모델로 확장한다.

제안 방법

• 흐름 모델을 사용한 역문제 해결을 데이터 적합성 종단 비용 Phi를 갖는 결정론적 최적 제어 문제로 공식화한다.
• MPC-Flow를 도입: 각 시점에서 유한-호라이즌 하위 문제들을 연쇄적으로 해결하고 최적 제어의 최초 일부만 적용한다(재감쇠 호라이즌).
• 두 가지 호라이즌 체계를 제시한다: 재감쇠-호라이즌 제어(RHC, H = 1 − t)와 Delta-t 호라이즌 제어(H = Δt).
• MPC-Flow를 전역 최적 제어 목표와 연결하는 이론적 결과를 제공한다(특정 조건에서의 최적성).
• 적절한 중간 비용 Phi_MPC를 갖는 Delta-t 호라이즌은 전역 최적 정책을 얻을 수 있음을 보여주고, 실용적인 Euler 이산화 및 메모리 이점을 논의한다.
• 전체 궤적에 대한 역전파를 피하는 특수 K=1 단일 스텝 RHC 변형으로 확장성을 크게 개선한다.

Figure 1 : MPC-Flow strategy for guiding flow-based generative models toward a target objective. Starting from the current state, MPC-Flow plans a sequence of velocity adjustments that steer the flow toward the objective while keeping the intervention small (A). Only the initial part of the plan is

실험 결과

연구 질문

• RQ1 MPC-Flow가 재학습 없이도 데이터-일치 해법을 위해 사전 학습된 흐름 모델을 가이드할 수 있는가?
• RQ2 다른 호라이즌 선택(RHC 대 Delta-t)이 최적성, 메모리 사용 및 대형 흐름 아키텍처의 확장성에 어떤 영향을 주는가?
• RQ3 MPC-Flow 하위 문제를 기저 글로벌 최적 제어 목표와 연결하는 이론적 보장은 무엇인가?
• RQ4 MPC-Flow가 선형 및 비선형 이미지 복원 작업에서 어떻게 수행되며 32B 매개변수의 흐름 모델로 확장되는가?
• RQ5 초기화, 이산화, 역전파 비용과 같은 추론 시 성능에 영향을 주는 실용적 고려사항은 무엇인가?

주요 결과

• MPC-Flow는 흐름 기반 역문제에 대해 강력한 추론 시 가이드를 제공하며, 여러 설정에서 글로벌 최적 제어 기준보다 우수한 성능을 보인다.
• 적절한 하위 문제 해결 시 재감쇠-호라이즌(H = 1 − t)으로 최적 경로를 달성할 수 있으며, K=1을 사용할 때 메모리 이점이 있다.
• Phi_MPC가 가치 함수와 동일한 Delta-t 호라이즌은 전역 최적이 될 수 있으며, 실용적인 단일 스텝 Euler 근사는 실용적인 휴리스틱을 제공한다.
• 단일 스텝(K=1) RHC 구성은 메모리와 계산을 크게 줄여 FLUX.2(32B)와 같은 대형 모델을 일반 가정용 하드웨어에서 확장 가능하게 한다.
• 노이즈 제거, 블러 제거, 초해상도, 인페인팅, 비선형 블러 제거 등 다양한 작업에서 MPC-Flow 변형은 효율성 면에서 FlowGrad와 OC-Flow를 지속적으로 능가하며 재구성 품질에서도 종종 우수하다.
• 이 접근법은 양자화된 버전을 포함한 대형 사전 학습 흐름 모델에 대한 학습 없는 가이드를 가능하게 하며 경쟁력 있는 결과를 보여준다.

Figure 3 : Comparison of MPC-RHC with varying $K$ compared to the global optimal control solution. All approaches use the same initial value ${\bm{x}}_{0}$ and $\lambda=2500$ .