[論文レビュー] Balancing Symmetry and Efficiency in Graph Flow Matching

Benjamin Honoré, Alba Carballo-Castro+2 more|arXiv (Cornell University)|Feb 20, 2026

Advanced Graph Neural Networks被引用数 0

ひとこと要約

論文は、sinusoidal positional encodingsと in-training permutations を用いたグラフフロー整列における対称性の制御による非対称性の破れを調べ、対称性を調整することで初期訓練を加速し、収束を改善することを示す。厳密な同値性に対する制約を緩和することで学習効率を高める一方、適切な対称性 modulation が過学習を遅らせる。

ABSTRACT

Equivariance is central to graph generative models, as it ensures the model respects the permutation symmetry of graphs. However, strict equivariance can increase computational cost due to added architectural constraints, and can slow down convergence because the model must be consistent across a large space of possible node permutations. We study this trade-off for graph generative models. Specifically, we start from an equivariant discrete flow-matching model, and relax its equivariance during training via a controllable symmetry modulation scheme based on sinusoidal positional encodings and node permutations. Experiments first show that symmetry-breaking can accelerate early training by providing an easier learning signal, but at the expense of encouraging shortcut solutions that can cause overfitting, where the model repeatedly generates graphs that are duplicates of the training set. On the contrary, properly modulating the symmetry signal can delay overfitting while accelerating convergence, allowing the model to reach stronger performance with $19\%$ of the baseline training epochs.

研究の動機と目的

• グラフ生成モデルにおけるパーミュテーションの等価性と最適化効率のトレードオフを動機づける。
• 訓練中に等価性を緩和するための制御可能な対称性モジュレーション機構を導入する。
• 対称性の破れがグラフデータセットでの学習ダイナミクスと汎化に与える影響を分析する。
• 適切な対称性モジュレーションが収束を加速しつつ過学習を遅らせることを示す。
• DeFoGフレームワーク内で異なるエンコーディング方式（sinusoidal PEs 対 RRWP）と時変パーミュテーションの比較を行う。

提案手法

• 等価な離散フローミッチングモデル（DeFoG）を出発点とし、sinusoidal positional encodings による制御可能な対称性モジュレーションを導入する。
• 位置エンコードを不変成分と非不変成分に分解し、対称性破れを調整するスケーリングパラメータlambdaを導入する。
• 訓練中に χ でパーミュテーションを適用し、訓練中に対称性を回復させる効果を検討する。
• 2つの対称性モジュレーション方式を分析する：スケールされたsinusoidal PEsと訓練中ノードのパーミュテーション、及び対称性回復サイクル。
• SBMおよび他のグラフデータセットに対して、Validity、Uniqueness、Novelty の指標（V、U、N）と複合 VUN スコアを用いて評価する。

Figure 1: Symmetry breaking restoring cycle. Starting from the initial point, equivariant paths converge slowly but preserve symmetry, non equivariant paths converge faster with a generalization gap, and the breaking restoring path achieves fast progress while recovering structural validity.

実験結果

リサーチクエスチョン

• RQ1 対称性破れによる厳密な等価性の緩和は、グラフフローミッチングの訓練速度と収束にどのような影響を与えるか？
• RQ2 スケールされたsinusoidal PEsとパーミュテーション率を用いた制御された対称性破れスケジュールは、サンプリング品質を維持または改善しつつ過学習を遅らせることができるか？
• RQ3 PEスケーリング対パーミュテーション対称性回復サイクルなど、異なる対称性モジュレーション戦略がグラフ生成品質に与えるトレードオフは？
• RQ4 RRWPといった構造認識エンコードと対称性モジュレーション技術を比較した場合の収束と汎化の違いは？

主な発見

λ	χ	VUN ↑	Avg Ratio ↓	Epoch	Epochs / Min ↑
3	χ(t)	0.975	1.25	9000	11.96
1	∞	0.925	2.01	4000	11.93
3	5	0.925	3.16	10000	11.71
5	∞	0.900	2.36	6000	12.01
Baseline	∞	0.900	2.24	21000	10.47

• sinusoidal positional encodings を用いた対称性破れは初期の収束を加速する一方、NoveltyとUniquenessが低下することで過学習が早期に生じる可能性がある。
• 対称性を保つ重み lambda を大きくするとNoveltyとUniquenessの崩壊を遅らせ、速度と汎化のバランスが取れる。
• 訓練中のパーミュテーション（chi>0）を導入すると過学習をさらに遅らせ、収束を加速することがあるが、対称性の保持を過度に強くすると訓練が遅くなる。
• 時間依存的なパーミュテーション率サイクル（対称性破れとその後の徐々の回復）は、最良のVUN性能を示し、ベースラインより約19%の訓練エポックで上回る。
• 正規化されたsinusoidal positional encodings は UN 崩壊をさらに遅らせ、競合的な性能を維持できる。
• 最良の設定はベースラインより高い VUN を、はるかに少ない訓練エポック数で達成する。対称性破れと回復のトレードオフがサンプリング品質と効率を改善する。
• このアプローチは複雑な設定（SBMライクなグラフ）で特に有益であり、標準的な等価性バイアスが価値を持つより単純なグラフでは利点が小さい。

Figure 4: Comparison of DeFoG’s baseline setting, with RRWP encodings and symmetry breaking sinusoidal PE with different invariance scaling $\lambda$ and time dependent permutation rates.