[論文レビュー] Neural Optimization Machine: A Neural Network Approach for Optimization

Jie Chen, Yongming Liu|arXiv (Cornell University)|Aug 8, 2022

Industrial Vision Systems and Defect Detection被引用数 7

ひとこと要約

本稿では、制約付き最適化問題をトレーニング可能なニューラルネットワークとして定式化する新しいニューラルネットワークフレームワーク、Neural Optimization Machine (NOM) を提案する。目的関数と制約関数を、目的関数と制約関数を組み込んだ独自のNNアーキテクチャに埋め込み、特徴的な活性化関数と損失関数を用いることで、NOMはバックプロパゲーションを活用して最適化問題を効率的に解く。高次元変数へのスケーラビリティを示し、単一およびマルチオブジェクティブ問題への適用性も確認され、実世界の増加造造プロセスのパrameter設計にも適用可能である。

ABSTRACT

A novel neural network (NN) approach is proposed for constrained optimization. The proposed method uses a specially designed NN architecture and training/optimization procedure called Neural Optimization Machine (NOM). The objective functions for the NOM are approximated with NN models. The optimization process is conducted by the neural network's built-in backpropagation algorithm. The NOM solves optimization problems by extending the architecture of the NN objective function model. This is achieved by appropriately designing the NOM's structure, activation function, and loss function. The NN objective function can have arbitrary architectures and activation functions. The application of the NOM is not limited to specific optimization problems, e.g., linear and quadratic programming. It is shown that the increase of dimension of design variables does not increase the computational cost significantly. Then, the NOM is extended for multiobjective optimization. Finally, the NOM is tested using numerical optimization problems and applied for the optimal design of processing parameters in additive manufacturing.

研究の動機と目的

• 従来の数学的プログラミング手法に依存せずに、制約付き最適化問題を解けるニューラルネットワークベースのフレームワークを開発すること。
• 高次元設計変数や複雑な制約を扱う際の、既存の最適化手法の限界を克服すること。
• 最適化プロセスを微分可能な計算グラフとして扱い、ニューラルネットワークのバックプロパゲーションによるエンドツーエンドのトレーニングを可能にすること。
• 計算効率を維持したまま、マルチオブジェクティブ最適化問題に対してもフレームワークを拡張すること。
• ベンチマーク数値問題と、増加造造プロセスのパrameter最適化を含む実世界の工学的応用において、手法の妥当性を検証すること。

提案手法

• NOMフレームワークは、目的関数と制約関数を任意のアーキテクチャと活性化関数を有する微分可能なニューラルネットワークとしてモデル化するニューラルネットワークアーキテクチャを構築する。
• 最適化プロセスは、ネットワークのフォワードおよびバックワードパスに埋め込まれ、制約違反に対するペナルティを課す損失関数を最小化することで、バックプロパゲーションを用いて最適解への収束を促進する。
• 損失関数は、目的関数と不等式・等式制約を統合するように特に設計されており、同時に最適化と制約の満たしを可能にする。
• 最適化の地形が真の問題の幾何構造と整合するように、補助層を追加し、活性化関数を変更することでネットワーク構造を拡張する。
• 目的関数の形式に任意性があり、二次計画法や線形計画法などの標準形式への再定式化を必要としない。
• フレームワークは、自動微分により勾配を計算する標準的な確率的勾配降下法（SGD）またはその変種を用いてトレーニングされる。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションを用いて、古典的最適化ソルバに依存せずに、制約付き最適化問題をエンドツーエンドに解けるニューラルネットワークをトレービングできるか？
• RQ2 設計変数の次元が増加するに従って、NOMの計算コストはどのように変化するか？
• RQ3 NOMは、多様な制約タイプを有する単一およびマルチオブジェクティブ最適化問題を効果的に処理できるか？
• RQ4 NOMは、非凸的・非線形問題を含む、さまざまな最適化問題タイプにどの程度一般化できるか？
• RQ5 NOMは、増加造造における最適パrameter設計といった実世界の工学的応用で、どの程度の性能を示すか？

主な発見

• NOMは、問題固有の再定式化を必要とせず、線形計画法や二次計画法を含む多様な制約付き最適化問題を効果的に解くことに成功した。
• NOMの計算コストは、高次元設計変数に対して僅かに増加するにとどまり、スケーラビリティを示した。
• ベンチマーク最適化問題において高い精度を達成し、既知の最適値に非常に近い解が得られた。
• 複数の目的をバランスさせるスカラー化された損失関数を用いることで、NOMはマルチオブジェクティブ最適化に対しても効果的であることが分かった。
• 増加造造の応用において、NOMは部品の品質を向上させる最適な処理パラメータを特定し、数値実験により妥当性が検証された。
• ニューラルネットワークアーキテクチャの柔軟性のおかげで、非凸的・非線形問題を含む多様な問題タイプに対しても、NOMはロバスト性を維持した。