[論文レビュー] Unsupervised Learning for Combinatorial Optimization with Principled Objective Relaxation

Haoyu Wang, Nan Wu+3 more|arXiv (Cornell University)|Jul 13, 2022

Ferroelectric and Negative Capacitance Devices被引用数 4

ひとこと要約

本稿では、目的関数の原理的でエントリごとの凹関数近似を用いた、組合せ最適化（CO）の教師なし学習フレームワークを提案する。この手法により、バックプロパゲーションを用いたエンドツーエンド学習が可能となる。主な貢献は、緩和された凹関数の最適化損失が低い場合、丸め処理後に高品質な整数解が得られることを理論的に保証する点であり、回路設計や近似計算などのプロキシベースCO問題において、ベースラインを著しく上回る性能を発揮する。

ABSTRACT

Using machine learning to solve combinatorial optimization (CO) problems is challenging, especially when the data is unlabeled. This work proposes an unsupervised learning framework for CO problems. Our framework follows a standard relaxation-plus-rounding approach and adopts neural networks to parameterize the relaxed solutions so that simple back-propagation can train the model end-to-end. Our key contribution is the observation that if the relaxed objective satisfies entry-wise concavity, a low optimization loss guarantees the quality of the final integral solutions. This observation significantly broadens the applicability of the previous framework inspired by Erdos' probabilistic method. In particular, this observation can guide the design of objective models in applications where the objectives are not given explicitly while requiring being modeled in prior. We evaluate our framework by solving a synthetic graph optimization problem, and two real-world applications including resource allocation in circuit design and approximate computing. Our framework largely outperforms the baselines based on naïve relaxation, reinforcement learning, and Gumbel-softmax tricks.

研究の動機と目的

• ラベルなしデータでの組合せ最適化問題の解決に課題を提示し、特に目的関数の評価が高価または暗黙的であるプロキシベースCO設定において、その課題に対処すること。
• 強化学習や高価なラベル付けに依存しない一般化可能な教師なし学習フレームワークを構築し、解の品質を維持すること。
• エントリごとの凹関数近似を通じて、緩和された損失が低いことと高品質な離散解が得られることの理論的基盤を確立すること。
• 微分可能な目的関数でパラメータ化された緩和解を用いて、ラベルなしデータ上でニューラルネットワークのエンドツーエンド学習を可能にすること。
• 本フレームワークの有効性を、合成的および実世界のCO問題（例：回路リソース割り当て、近似計算）において実証すること。

提案手法

• フレームワークは、緩和＋丸めパイプラインを採用：離散的CO目的関数を、ニューラルネットワークでパラメータ化された連続的かつエントリごとの凹関数に緩和する。
• 緩和された目的関数は、ラベルなしデータ上で標準的なバックプロパゲーションにより最適化され、エンドツーエンド学習が可能になる。
• 主な理論的貢献として、緩和された目的関数がエントリごとに凹関数である場合、低コストのソフト解が、決定論的な逐次丸め処理後に高品質な整数解を保証することを証明する。
• 制約（例：リソース制限）は、正規化されたペナルティ項（例：$ g_r(\bar{X};C) = \frac{n - \sum \bar{X}_i}{n-t} $）を用いて取り入れられ、実行可能性が保証される。
• モデルは、$ \beta $ が目的関数を支配するように選ばれた損失関数 $ l_r(\bar{X};C) = f_r(\bar{X};C) + \beta \cdot g_r(\bar{X};C) $ を用いて訓練される。
• 推論時、モデルは閾値 $ t $ を入力として受け取り、異なる制約レベルに動的に適応可能であり、1つのモデルで複数の設定を処理できる。

実験結果

リサーチクエスチョン

• RQ1 エントリごとの凹関数近似により、教師なし組合せ最適化において高品質な離散解を保証できるか？
• RQ2 目的関数が明示的に定義されていないプロキシベースCO問題に、教師なし学習を体系的かつ効果的に適用できるか？
• RQ3 微分可能で凹関数の緩和において低損失が、丸め処理後の最終的な離散解において優れた性能を示すか？
• RQ4 本フレームワークは、解の品質と学習安定性の面で、強化学習およびGumbel-softmaxベースの手法を上回るか？
• RQ5 リソース制約付き最適化において、1つのニューラルネットワークモデルが、さまざまな制約閾値に一般化できる範囲はどの程度か？

主な発見

• 提案されたフレームワークは、単純な緩和、強化学習、Gumbel-softmaxベースのベースラインを、合成的および実世界のCO問題において著しく上回る性能を発揮する。
• エントリごとの凹関数近似により、低コストのソフト解が決定論的な丸め処理後に高品質な整数解をもたらすことが保証され、理論的な性能保証が得られる。
• 回路リソース割り当てタスクにおいて、他の手法と比較して、さまざまな閾値においてより高い最適解回復確率を達成した。
• 閾値 $ t $ を入力として条件づけることで、1つのモデルが複数の制約レベル（例：異なるA×Cユニット使用閾値）に一般化して対応可能である。
• 教師ありおよび強化学習ベースの代替手法と比較して、本手法は、大規模問題における学習速度、一般化性能、スケーラビリティに優れた性能を示した。
• コードとデータセットは公開されており、再現性が確保され、プロキシベースCO応用分野への広範な採用を支援する。