[論文レビュー] Unrolled Neural Networks for Constrained Optimization

Samar Hadou, Alejandro R. Ribeiro|arXiv (Cornell University)|Jan 24, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

この論文は、近似最適かつほぼ実現可能な解と強いOOD一般化を実現する、制約付き最適化をデュアル領域で展開する学習可能な primal および dual ネットワークの対としての CDU（Constrained Dual Unrolling）を提案する。訓練はデュアルアセントダイナミクスを模倣する降下/上昇制約を用いた交互スキームを採用する。

ABSTRACT

In this paper, we develop unrolled neural networks to solve constrained optimization problems, offering accelerated, learnable counterparts to dual ascent (DA) algorithms. Our framework, termed constrained dual unrolling (CDU), comprises two coupled neural networks that jointly approximate the saddle point of the Lagrangian. The primal network emulates an iterative optimizer that finds a stationary point of the Lagrangian for a given dual multiplier, sampled from an unknown distribution. The dual network generates trajectories towards the optimal multipliers across its layers while querying the primal network at each layer. Departing from standard unrolling, we induce DA dynamics by imposing primal-descent and dual-ascent constraints through constrained learning. We formulate training the two networks as a nested optimization problem and propose an alternating procedure that updates the primal and dual networks in turn, mitigating uncertainty in the multiplier distribution required for primal network training. We numerically evaluate the framework on mixed-integer quadratic programs (MIQPs) and power allocation in wireless networks. In both cases, our approach yields near-optimal near-feasible solutions and exhibits strong out-of-distribution (OOD) generalization.

研究の動機と目的

• モデルベースの最適化とデータ駆動学習を制約付き問題へ橋渡しする。
• CDU、デュアルアセントダイナミクスを模倣する2つの結合されたアンロールドネットワークを開発する。
• 訓練中に降下と上昇の制約を課し、安定性と一般化を向上させる。
• 混合整数二次計画（MIQP）やワイヤレス電力配分で有効性を示す。
• 未知の乗数分布に対処する訓練フレームワークを提供する（交互最適化）。

提案手法

• ラグランジアンと双対関数（L(x, lambda; z)、D*: lambda に対して最大化）を用いて dual 形で制約付き最適化を定式化する。
• 二つのアンロールドネットワークを設計する： primal Phi_P は特定の lambda に対してラグランジアン最適化子を近似し、dual Phi_D は各層で primal ネットを問合せて lambda を更新する。
• 訓練中、プライマル層全体でラグランジアンの単調降下を、デュアル層全体でデュアル関数の単調上昇（制約の緩和を介して）を強制する。
• 外側レベルがデュアルを訓練し、内側レベルがプライマルを訓練するネストされた交互スキームで訓練し、乗数分布をサンプリングする。
• 問題インスタンス(z)と乗数の分布に対して、期待されるラグランジアン損失を最小化・制約するデータ駆動の教師なしアプローチを採用する。
• ネットワークはグラフニューラルネットを用いてモデル化し、構造と転送可能性を活用する。

Figure 1 : Trajectories generated by (left) DA algorithm, (middle) constrained dual unrolling and (right) its unconstrained counterpart for a QP instance: (Top) primal trajectories toward the stationary point of the Lagrangian ${\mathcal{L}}(\cdot,\bm{\lambda};{\mathbf{z}})$ , and (bottom) dual traj

実験結果

リサーチクエスチョン

• RQ1 CDUは制約付き問題のデュアルアセントダイナミクスをエミュレートするようにデュアルネットワークを準備できるか。
• RQ2 降下/上昇の制約を課すことは安定性とOOD一般化を改善するか。
• RQ3 アンロールドなプライマル/デュアルネットワークは様々な問題インスタンスに対して停留点と最適乗数をどれだけうまく近似できるか。
• RQ4 このアプローチはMIQPとワイヤレス電力配分で、事前に正確な乗数分布を要求せずに有効か。

主な発見

• CDUはMIQPとワイヤレス電力配分のタスクでほぼ最適かつほぼ実現可能な解を生み出す。
• 降下と上昇の制約を課すことは最終層の精度を改善し、OOD一般化を向上させる。
• デュアルネットの軌道はデュアル関数を最大化する方向に誘導され、プライマルネットはラグランジアンの停留点へ収束する。
• 交互訓練スキームは現在のデュアルネットが生成する乗数分布を効果的にサンプルする。
• フレームワークは特定のプライマル/デュアルアーキテクチャや問題クラスに依存せず、グラフニューラルネットの使用例が示されている。
• 結果は伝統的なデュアルアセント法の学習可能な対へと加速を示唆する。

Figure 3 : Performance of constrained dual unrolling across $14$ layers vs an iterative DA algorithm. (Left) The distance to the primal optimum ${\mathbf{x}}^{*}$ , (middle) the distance to the dual optimum $\bm{\lambda}^{*}$ , and (right) the objective function (a measure of optimality). The 14-lay