[論文レビュー] UniHetCO: A Unified Heterogeneous Representation for Multi-Problem Learning in Unsupervised Neural Combinatorial Optimization

Kien X. Nguyen, Ilya Safro|arXiv (Cornell University)|Mar 12, 2026

Advanced Multi-Objective Optimization Algorithms被引用数 0

ひとこと要約

UniHetCO は、複数の組合せ最適化問題を単一の異種グラフ表現と教師なしの QUBO ベースの損失で統一し、勾配ノルムベースの動的重み付けにより安定したマルチ問題学習と強力な問題間適応を実現する。

ABSTRACT

Unsupervised neural combinatorial optimization (NCO) offers an appealing alternative to supervised approaches by training learning-based solvers without ground-truth solutions, directly minimizing instance objectives and constraint violations. Yet for graph node subset-selection problems (e.g., Maximum Clique and Maximum Independent Set), existing unsupervised methods are typically specialized to a single problem class and rely on problem-specific surrogate losses, which hinders learning across classes within a unified framework. In this work, we propose UniHetCO, a unified heterogeneous graph representation for constrained quadratic programming-based combinatorial optimization that encodes problem structure, objective terms, and linear constraints in a single input. This formulation enables training a single model across multiple problem classes with a unified label-free objective. To improve stability under multi-problem learning, we employ a gradient-norm-based dynamic weighting scheme that alleviates gradient imbalance among classes. Experiments on multiple datasets and four constrained problem classes demonstrate competitive performance with state-of-the-art unsupervised NCO baselines, strong cross-problem adaptation potential, and effective warm starts for a commercial classical solver under tight time limits.

研究の動機と目的

• ground-truth 解なしで複数のグラフノード部分集合選択問題を解く動機付け。
• 問題クラス全体の構造、目的項、線形制約をエンコードする統一入力表現の開発。
• ラベルなしの普遍的損失で複数の問題クラスを横断する単一モデルの訓練を可能にする。
• 多領域学習における勾配の不均衡を動的勾配ノルムベースの重み付け方式で解消する。

提案手法

• 問題グラフ、目的グラフ、制約ハイパーグラフを単一の異種グラフにエンコードする統一異種入力表現を提案。
• 目的と制約ペナルティを組み合わせた universal QUBO ベースの教師なし損失として学習目的を定式化。
• 問題構造、目的結合、制約発生に対して別々のメッセージパッシングチャンネルを持つ多関係GNNを使用し、融合と FCN による緩和選択を実施。
• 訓練中に複数問題クラスからの寄与を平衡させる勾配ノルムベースの動的重み付け（GradNorm に触発）を適用。
• ラベルなし教師なしで緩和された目的と制約ペナルティを最小化して訓練し、推論時には有効な離散解へ射影。

Figure 1: High-level comparison between existing single-problem (top) and our multi-problem (bottom) neural combinatorial optimization framework. By encoding objectives and constraints into the input graph, our approach enables joint training across multiple problem classes.

実験結果

リサーチクエスチョン

• RQ1 単一の統一代替損失は、異なる CO クラスに対して問題固有の代替損失に匹敵できるのか。
• RQ2 統一損失の下でマルチ問題訓練と単一問題訓練のトレードオフはどうなるのか。
• RQ3 ゼロショットまたは数ショット設定で見たことのない問題クラスへモデルはどの程度一般化できるのか。
• RQ4 短時間制限下で古典ソルバーへのウォームスタートとしてモデル予測はどれほど効果的か。

主な発見

• 統一された異種グラフ表現は、普遍的 QUBO ベースの教師なし損失を用いて複数の CO 問題クラスで単一モデルを訓練できる。
• 動的勾配正規化は、問題クラス間の勾配寄与をバランスさせることでマルチ問題学習を安定化させる。
• UniHetCO フレームワークは、複数のデータセットと問題クラスで最先端の教師なしベースラインと競争力のある性能を達成。
• マルチ問題訓練は場合によって強い跨問題適応を提供し、問題クラスとデータセットに応じてトレードオフを明らかにする。
• UniHetCO の予測解は、短時間制限下で Gurobi ソルバーの有効なウォームスタートとして機能する可能性がある。

Figure 2: Examples of MIS, MC, MVC and MDS instances encoded in our unified heterogeneous graph. The objectives and constraints are listed for each problem class, along with a simple example for $\mathbf{Q},\mathbf{c},\mathbf{A},$ and $\mathbf{b}$ and the corresponding heterogeneous graph defined in