[論文レビュー] Training-free Composition of Pre-trained GFlowNets for Multi-Objective Generation

Seokwon Yoon, Youngbin Choi+4 more|arXiv (Cornell University)|Feb 25, 2026

Advanced Multi-Objective Optimization Algorithms被引用数 0

ひとこと要約

训练不要のフレームワークを提案し、推論時に事前学習済みGFlowNetsを混合して多目的生成を扱う。線形スカラー化に対して正確性を提供し、非線形演算子には概ね制御を行い、合成グリッドと実世界の分子生成で検証。

ABSTRACT

Generative Flow Networks (GFlowNets) learn to sample diverse candidates in proportion to a reward function, making them well-suited for scientific discovery, where exploring multiple promising solutions is crucial. Further extending GFlowNets to multi-objective settings has attracted growing interest since real-world applications often involve multiple, conflicting objectives. However, existing approaches require additional training for each set of objectives, limiting their applicability and incurring substantial computational overhead. We propose a training-free mixing policy that composes pre-trained GFlowNets at inference time, enabling rapid adaptation without finetuning or retraining. Importantly, our framework is flexible, capable of handling diverse reward combinations ranging from linear scalarization to complex non-linear logical operators, which are often handled separately in previous literature. We prove that our method exactly recovers the target distribution for linear scalarization and quantify the approximation quality for nonlinear operators through a distortion factor. Experiments on a synthetic 2D grid and real-world molecule-generation tasks demonstrate that our approach achieves performance comparable to baselines that require additional training.

研究の動機と目的

• 科学的発見領域（例：分子、グラフ）で目的が衝突しがちな柔軟な多目的生成の必要性を動機づける。
• 推論時に事前学習済みGFlowNetsを組み合わせる訓練不要フレームワークを開発し、多様な報酬組み合わせをカバーする。
• 線形スカラー化の下での正確性に関する理論的保証を提供し、非線形演算子の近似を定量化する。
• 再訓練せずに、syntheticおよび実世界の分子生成タスクで実用的な性能を示す。

提案手法

• 複数の事前学習済みGFlowNetsからの前方遷移確率を、状態到達確率を重みとして組み合わせる混合方針を定義する。
• 混合を p_M,F(s'|s) が G(u_1(s)p_1,F(s'|s),…,u_k(s)p_k,F(s'|s)) に対して局所正規化 N_M(s) で比例付けして表現する。
• 到達確率 u_i(s) を、GFlowNet訓練時に学習した状態フロー F_i(s) および総フロー Z_i を活用して効率的に計算する。
• 線形スカラー化の下でターゲット分布を混合ルール (P=ω-加重和の報酬) によって正確に回復できることを証明する。
• 非線形演算子の近似誤差を界るための歪み δ(x)=u_M(x)/N_M(x) を分析する。
• スカラー化と論理演算子、実報酬を用いた分子生成（SEH、SA、QED、GAP）で、32x32のsyntheticグリッドおよび分子生成タスクでアプローチを実証的に検証する。

Figure 1 : Qualitative result of scalarization on a 2D grid domain. We visualize the density on each grid of the true distribution (left), MOGFN (middle), and ours (right).

実験結果

リサーチクエスチョン

• RQ1 訓練不要の事前学習済みGFlowNetsの混合は、任意の報酬組成によって定義された多目的分布を実現できるか？
• RQ2 混合方針がターゲット分布を正確に回復する条件は何か、非線形組合せ演算子に対してはどうなるか？
• RQ3 目的の数が増えるにつれて、スカラー化と論理演算子組成を横断してアプローチはどうスケールするか？
• RQ4 再訓練ベースラインと比較して、リアルワールドの分子生成タスクは訓練不要の組成からサンプル品質と速度の点で恩恵を得られるか？

主な発見

2 Obj.	3 Obj.	4 Obj.	5 Obj.
MOGFN	0.021	0.027	0.042	0.048
HN-GFN	0.017	0.021	0.032	0.035
Ensemble	0.117	0.098	0.113	0.111
Ours	0.003	0.003	0.003	0.003

• 線形スカラー化の場合、混合方針はターゲット分布 p_M*(x) ∝ ∑_i ω_i R_i(x) を正確に実現する。
• 非線形演算子の場合、歪み δ(x) が高報酬領域でほぼ 1/Z_M に近い近似を提供し、重要なサンプリング精度を確保する。
• 2Dのsyntheticグリッドでは、目的が増えるほど（2–5目的）優先度条件付きベースラインよりはるかに小さなL1誤差を達成する。
• 論理演算子では、混合方針はトレーニングを追加せずに高速推論を提供しつつ、分類子ガイド付きベースラインと同等の性能を達成する。
• 分子生成では、訓練不要の混合が再訓練を要するベースラインと同等以上の性能を示し、論理演算子組成に対する推論速度が向上する。

Figure 2 : Qualitative result of logical operations on a 2D grid domain. We visualize the density on each grid of the true distribution (left), classifier guidance (middle), and ours (right).