[論文レビュー] Partial GFlowNet: Accelerating Convergence in Large State Spaces via Strategic Partitioning

Xuan Yu, Xu Wang+3 more|arXiv (Cornell University)|Feb 12, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

Partial GFlowNet は、プランナーに guided な重複する部分領域に状態空間を分割することで非常に大規模な状態空間における収束を加速し、多様性と高報酬候補の生成を改善します。

ABSTRACT

Generative Flow Networks (GFlowNets) have shown promising potential to generate high-scoring candidates with probability proportional to their rewards. As existing GFlowNets freely explore in state space, they encounter significant convergence challenges when scaling to large state spaces. Addressing this issue, this paper proposes to restrict the exploration of actor. A planner is introduced to partition the entire state space into overlapping partial state spaces. Given their limited size, these partial state spaces allow the actor to efficiently identify subregions with higher rewards. A heuristic strategy is introduced to switch partial regions thus preventing the actor from wasting time exploring fully explored or low-reward partial regions. By iteratively exploring these partial state spaces, the actor learns to converge towards the high-reward subregions within the entire state space. Experiments on several widely used datasets demonstrate that \modelname converges faster than existing works on large state spaces. Furthermore, \modelname not only generates candidates with higher rewards but also significantly improves their diversity.

研究の動機と目的

• 状態空間が極端に大きい場合の GFlowNets の収束の課題を動機づける。
• 探索を重複する部分領域へ制約する Partial GFlowNet を導入し、収束を速くする。
• 制限された領域内の候補品質を高めるための部分的局所探索を組み込む。
• 分子設計、配列生成、RNA結合タスクでの実証的な改善を示す。

提案手法

• 探索中に領域を選択・切替するプランナーを用い、重なる部分領域に全状態空間を分割する。
• 実行可能なアクションの部分集合 A*v を定義して実現可能な部分領域を作成し、期待比 p^l によって領域サイズを計算する。
• 領域スコアに基づく新規領域選択の比例戦略を提案し、更新モジュールを用いて HR と CNT カウンタを用いたアクションスコアを更新する。
• 探索の進捗と過去の性能に基づいて領域遷移を発動する意思決定モジュールを導入する。
• 前方ポリシーを有効なアクションに制約し、部分的前方ステップの再適用とバックトラックによる完全な軌跡再構築を通じて Partial Local Search に拡張する。
• Flow Matching (FM)、Detailed Balance (DB)、Trajectory Balance (TB)、Sub-Trajectory Balance (subTB) の目的に適したトレーニングフレームワークを適用する。

Figure 1: High-reward candidates can be rather sparse. By selecting partial space, the high-reward candidates become denser.

実験結果

リサーチクエスチョン

• RQ1 Partial GFlowNet は大規模な状態空間において、純粋な GFlowNet よりも収束を速めつつ多様性と報酬品質を維持または向上できるか。
• RQ2 プランナーの領域選択戦略と部分的局所探索が探索効率と最終候補品質にどのような影響を与えるか。
• RQ3 部分領域と領域切替が、異なるタスクにおける標準的な GFlowNet の目的（FM、DB、TB、subTB）にどのような影響を与えるか。
• RQ4 部分探索と部分的局所探索は、分子設計、配列生成、RNA結合ベンチマークで一貫した利得をもたらすか。

主な発見

Model	#Modes (R > 7.5)	R_top k
DB	10	7.085
DB+LS	14	7.176
DB+P	56	7.521
DB+PLS	78	7.606
FM	17898	8.319
FM+LS	21898	8.337
FM+P	124901	8.433
FM+PLS	141115	8.508
subTB	1	7.187
subTB+LS	1	7.068
subTB+P	11	7.351
subTB+PLS	14	7.402
TB	8	7.290
TB+LS	17	7.312
TB+P	1333	7.951
TB+PLS	2626	8.029
PPO	0	7.360
MARS	0	7.322

• Partial GFlowNet は、非常に大規模な状態空間において高報酬サブ領域への収束を純粋な GFlowNet よりも速く達成する。
• 分子設計において、Partial GFlowNet はFM、TB および関連するバリアントにおいて、ベースラインよりはるかに多くの高報酬モードとトップ k 報酬を達成する。
• Partial GFlowNet は配列生成およびRNA結合タスクにおいてモード発見とトップ性能を改善し、非流れベースのベースラインを上回ることが多い。
• TB ベースの構成は、タスクを通じて特に堅牢な性能を示す。
• 部分探索と部分局所探索は、多様性と探索効率の点で有意な利得を生み出し、特に大規模な状態空間で顕著である。

Figure 2: Overview of the proposed Partial GFlowNet framework.