[논문 리뷰] Training-free Composition of Pre-trained GFlowNets for Multi-Objective Generation

Seokwon Yoon, Youngbin Choi외 4명|arXiv (Cornell University)|2026. 02. 25.

Advanced Multi-Objective Optimization Algorithms인용 수 0

한 줄 요약

추론 시점에 사전 학습된 GFlowNets를 혼합하는 훈련 없는 프레임워크를 제안하여 다객체 생성을 처리하고, 선형 스칼라화에 대한 정확성과 비선형 연산자에 대한 근사 제어를 제공하며; 합성 격자에서의 검증과 실제 세계의 분자 생성에서 검증되었다.

ABSTRACT

Generative Flow Networks (GFlowNets) learn to sample diverse candidates in proportion to a reward function, making them well-suited for scientific discovery, where exploring multiple promising solutions is crucial. Further extending GFlowNets to multi-objective settings has attracted growing interest since real-world applications often involve multiple, conflicting objectives. However, existing approaches require additional training for each set of objectives, limiting their applicability and incurring substantial computational overhead. We propose a training-free mixing policy that composes pre-trained GFlowNets at inference time, enabling rapid adaptation without finetuning or retraining. Importantly, our framework is flexible, capable of handling diverse reward combinations ranging from linear scalarization to complex non-linear logical operators, which are often handled separately in previous literature. We prove that our method exactly recovers the target distribution for linear scalarization and quantify the approximation quality for nonlinear operators through a distortion factor. Experiments on a synthetic 2D grid and real-world molecule-generation tasks demonstrate that our approach achieves performance comparable to baselines that require additional training.

연구 동기 및 목표

• 과학적 발견 영역(예: 분자, 그래프)에서 목표들이 종종 상충하는 상황에서 융통성 있는 다객체 생성을 필요로 하는 동기를 제시한다.
• 다양한 보상 조합을 다루기 위해 추론 시점에 사전 학습된 GFlowNets를 구성하는 훈련 없는 프레임워크를 개발한다.
• 선형 스칼라화 하에서의 정확성에 대한 이론적 보장을 제공하고 비선형 연산자에 대한 근사를 정량화한다.
• 재학습 없이 합성 및 실제 분자 생성 과제에서 실용적 성능을 입증한다.

제안 방법

• 상태 도달 확률을 가중치로 사용하여 다수의 사전 학습된 GFlowNets의 순방향 전이 확률을 결합하는 혼합 정책을 정의한다.
• 혼합을 p_M,F(s'|s) 가 비례하도록 G(u_1(s)p_1,F(s'|s),…,u_k(s)p_k,F(s'|s))의 형태로 표현하고 로컬 정규화 N_M(s)을 둔다.
• GFlowNet 학습 중에 학습된 상태 흐름 F_i(s)와 총 흐름 Z_i를 활용하여 도달 확률 u_i(s)를 효율적으로 계산한다.
• 혼합 규칙(P=가중합 보상)으로 선형 스칼라화의 대상 분포의 정확한 복원을 증명한다.
• 비선형 연산자에 대한 근사 오차를 상한하기 위해 변형률 δ(x)=u_M(x)/N_M(x)를 분석한다.
• 실제 보상으로 32x32 합성 격자에서 스칼라화 및 논리 연산자에 대한 방법을 경험적으로 검증하고, SEH, SA, QED, GAP 등 조각- 및 원자 기반 분자 생성에서 실험적으로 검증한다.

Figure 1 : Qualitative result of scalarization on a 2D grid domain. We visualize the density on each grid of the true distribution (left), MOGFN (middle), and ours (right).

실험 결과

연구 질문

• RQ1 다훈련이 필요한 바탕에서 구성된 다목적 분포를 임의의 보상 구성으로 정의하는 학습 없는 GFlowNets 혼합으로 구현할 수 있는가?
• RQ2 혼합 정책이 타깃 분포를 정확히 복원하는 조건은 무엇이며, 비선형 구성 연산자에 대해 어떻게 동작하는가?
• RQ3 목적 수가 증가하고 스칼라화 및 논리 연산자 구성 간에 접근 방식은 어떻게 확장되는가?
• RQ4 실세계 분자 생성 과제에서 재학습 baselines에 비해 샘플 품질과 속도 측면에서 학습 없는 구성의 이점이 있는가?

주요 결과

• 선형 스칼라화의 경우 혼합 정책은 타깃 분포 p_M*(x) ∝ ∑_i ω_i R_i(x)를 정확하게 구현한다.
• 비선형 연산자의 경우 이 방법은 δ(x) 의 왜곡이 높은 보상 영역에서 1/Z_M에 가깝게 근사를 제공하며, 중요한 샘플링에서 정확성을 달성한다.
• 합성 2D 격자에서 목표가 2~5개일 때 선호도 조건 기반 baselines보다 L1 오차가 현저히 낮다.
• 논리 연산자의 경우 혼합 정책은 추가 학습 없이도 빠른 추론을 제공하며 분류기 기반 baselines와 성능에서 일치한다.
• 분자 생성에서 학습 없는 혼합은 재학습이 필요한 baselines와 비슷하거나 더 나은 성능을 보이며, 논리 연산자 구성에서 더 빠른 추론을 제공한다.

Figure 2 : Qualitative result of logical operations on a 2D grid domain. We visualize the density on each grid of the true distribution (left), classifier guidance (middle), and ours (right).