[論文レビュー] Learning to Optimize Under Constraints with Unsupervised Deep Neural Networks

Seyedrazieh Bayati, Faramarz Jabbarvaziri|arXiv (Cornell University)|Jan 3, 2021

Manufacturing Process and Optimization被引用数 4

ひとこと要約

本稿では、問題パラメータを近最適解に写像する深層ニューラルネットワーク（DNN）を学習することで、一般の等式および不等式制約をピecewise正則化法によって強制する、非教師付き深層学習フレームワークを提案する。このアプローチにより、内点法と同等の性能を達成しつつ、オンライン推論コストを著しく削減したリアルタイム制約付き最適化が可能になる。

ABSTRACT

In this paper, we propose a machine learning (ML) method to learn how to solve a generic constrained continuous optimization problem. To the best of our knowledge, the generic methods that learn to optimize, focus on unconstrained optimization problems and those dealing with constrained problems are not easy-to-generalize. This approach is quite useful in optimization tasks where the problem's parameters constantly change and require resolving the optimization task per parameter update. In such problems, the computational complexity of optimization algorithms such as gradient descent or interior point method preclude near-optimal designs in real-time applications. In this paper, we propose an unsupervised deep learning (DL) solution for solving constrained optimization problems in real-time by relegating the main computation load to offline training phase. This paper's main contribution is proposing a method for enforcing the equality and inequality constraints to the DL-generated solutions for generic optimization tasks.

研究の動機と目的

• 動的環境で頻繁な再最適化が求められる状況において、制約なし問題に焦点を当てた従来の「学習による最適化」手法のギャップを埋める。
• 連続最適化におけるDNN解法において、等式および不等式制約を両方とも一般化可能で微分可能である方法を構築する。
• 内点法などの従来手法が計算複雑性が高いために遅すぎる、リアルタイム推論が求められる最適化タスクに対応する。
• 後処理による正規化やヒューリスティックな制約処理に依存せずに、深層学習モデルが実行可能解を生成することを保証する。

提案手法

• 入力パラメータ $ p $ から最適解 $ x^* $ への写像として最適化問題をDNNに定式化し、損失関数を目的関数 $ f_0(x;p) $ に設定する。
• 不等式制約および等式制約のそれぞれに対して、累乗ベースのペナルティ関数 $ \\boldsymbol{\text{F}}_i(x^*;p) $ および $ \\boldsymbol{\text{H}}_j(x^*;p) $ を導入し、指数 $ \\boldsymbol{\text{γ}} \geq 1 $ とスケーリング係数 $ \\boldsymbol{\eta}_i \geq 0 $ を用いる。
• 非微分可能なインジケータ関数 $ \mathbb{I}(\cdot) $ を、制約違反に対してコストを増加させる連続的かつ微分可能なペナルティ関数に置き換える。
• 確率的最適化（例：ADAM）を用いて、$ \mathcal{L} = f_0(x^*;p) + \sum_i F_i(x^*;p) + \sum_j H_j(x^*;p) $ の組み合わせ損失を最小化するようにDNNを学習し、実行可能領域および非実行可能領域を含む勾配が伝搬されるようにする。
• 多様な問題設定に一般化できるよう、パラメータ空間全体に均等に分布する多数のトレーニングサンプル（$ \sim 1000 $ 個）を用いる。
• 後処理や活性化関数の飽和などのアーキテクチャ的制約を避けるために、トレーニング中に制約を暗黙的に強制する。

実験結果

リサーチクエスチョン

• RQ1 一般の等式および不等式制約のもとで、問題パラメータから最適解への写像を、微分可能かつ非教師付きの方法で学習可能なDNNを構築できるか？
• RQ2 勾配ベース最適化が可能であり、かつ最終解が実行可能であるように保証できるように、制約違反をどのようにペナルティ化できるか？
• RQ3 DNNベースの解法は、従来の内点法と比較して、制約付き最適化においてどの程度近最適な性能を達成できるか？
• RQ4 本手法は、パラメータ設定が変化する非線形的かつ非凸的な最適化領域に対しても、一般化可能か？

主な発見

• 1つの制約を伴うRosenbrock関数に対して、DNNは内点法の結果と非常に近い解を達成した：$ c_1=1, c_2=1 $ の場合、DNNは $ x_1=0.8394, x_2=0.6040 $ を得たのに対し、内点法は $ 0.8082, 0.5889 $ を得た。
• 3つの制約を伴うRosenbrock関数では、グローバル最小値が実行可能領域外にあっても、DNNは制約領域内に実行可能な解を効果的に生成した。
• 1つの制約を伴うAckley関数では、DNNは最適解から $ 10^{-5} $ 以内の解（例：$ x_1 = -5.6177 \times 10^{-6}, x_2 = 7.2256 \times 10^{-5} $）を生成したのに対し、内点法は $ \sim 10^{-12} $ の精度を達成しており、高い正確性が示された。
• トレーニング中にペナルティを適用することで、非線形的で複雑な制約を伴うすべてのテストケースで実行可能性が維持された。
• 内点法の最悪計算量 $ \mathcal{O}(\max\{n,m\}^4\sqrt{n}\log(1/\epsilon)) $ に比べ、DNNによる推論コストは著しく低く抑えられ、リアルタイムデプロイメントが可能になった。
• $ \eta_i = 10^8 $ および $ \gamma = 2 $ の条件下で、ペナルティ項は非実行可能解の抑制に効果的に機能し、実行可能で近最適な出力のみが学習された。