[論文レビュー] Deep Optimisation: Solving Combinatorial Optimisation Problems using Deep Neural Networks

J R Caldwell, Richard A. Watson+2 more|arXiv (Cornell University)|Nov 2, 2018

Metaheuristic Optimization Algorithms Research参考文献 24被引用数 10

ひとこと要約

本稿では、組合せ最適化問題における進化的探索における変異作用素を動的に適応させるために深層ニューラルネットワーク（DNN）を用いる新規手法であるDeep Optimisation（DO）を提案する。階層的な問題構造を段階的学習プロセスによって学習することで、DOは、パラティック・モジュラー制約問題やTSPインスタンスなど、深い高次依存関係を有する問題において、最先端のモデル構築最適化アルゴリズム（MBOA）を上回り、優れた解の品質と高速な収束を示した。

ABSTRACT

Deep Optimisation (DO) combines evolutionary search with Deep Neural Networks (DNNs) in a novel way - not for optimising a learning algorithm, but for finding a solution to an optimisation problem. Deep learning has been successfully applied to classification, regression, decision and generative tasks and in this paper we extend its application to solving optimisation problems. Model Building Optimisation Algorithms (MBOAs), a branch of evolutionary algorithms, have been successful in combining machine learning methods and evolutionary search but, until now, they have not utilised DNNs. DO is the first algorithm to use a DNN to learn and exploit the problem structure to adapt the variation operator (changing the neighbourhood structure of the search process). We demonstrate the performance of DO using two theoretical optimisation problems within the MAXSAT class. The Hierarchical Transformation Optimisation Problem (HTOP) has controllable deep structure that provides a clear evaluation of how DO works and why using a layerwise technique is essential for learning and exploiting problem structure. The Parity Modular Constraint Problem (MCparity) is a simplistic example of a problem containing higher-order dependencies (greater than pairwise) which DO can solve and state of the art MBOAs cannot. Further, we show that DO can exploit deep structure in TSP instances. Together these results show that there exists problems that DO can find and exploit deep problem structure that other algorithms cannot. Making this connection between DNNs and optimisation allows for the utilisation of advanced tools applicable to DNNs that current MBOAs are unable to use.

研究の動機と目的

• DNNをモデルの訓練のためではなく、進化的アルゴリズムにおける探索プロセスを直接指針するために用いることで、深層学習と組合せ最適化を統合すること。
• 現在のモデル構築最適化アルゴリズム（MBOA）の限界、すなわち浅いモデルに依存しており、深い階層的問題構造を活用できないという点を解決すること。
• 従来のMBOAが捉えきれないような複雑な高次依存関係（例：2次元を超える依存関係）をDNNが学習・活用できるかどうかを調査すること。
• DNNにおける段階的学習アプローチが、最適化における深い問題構造の学習・活用に不可欠であることを示すこと。
• ドロップアウト、正則化、高度なアーキテクチャといった深層学習のツールを、DOを介して組合せ最適化に応用することにより、その適用範囲を拡張すること。

提案手法

• DOは、深層ニューラルネットワーク（DNN）をモデル情報に基づく変異作用素として統合し、進化的探索における標準的な変異および交差作用素を置き換える。
• DNNは、高品質な解における変数相関の階層的表現を学習するために段階的に訓練され、教師あり学習における深層特徴学習を模倣する。
• 妥当な解を生成するためにグリーディな構築ヒューリスティクスが用いられる：TSPの巡回路における現在の位置に対して、DNNは接続確率を予測し、有効な接続に対する最大値演算により次の位置が選択される。
• すべての正の接続が使い果たされた場合、妥当な位置をランダムに選択することで、妥当性を保ちつつ、学習済みのサブツアーを保存しつつ、配置の柔軟性を確保する。
• DNNの出力は、各ノードごとの接続ベクトルとして解釈され、正の値はTSP巡回路における潜在的な辺を示し、負の値は接続なしを示す。
• 訓練および探索の過程で、基本的な変異作用素として位置挿入ヒューリスティクスが用いられる。これにより、学習済みの構築ブロックを保持しつつ、解空間の有効な探索が可能になる。

実験結果

リサーチクエスチョン

• RQ1 標準的なMBOAが困難に感じるような、深い階層的問題構造を有する組合せ最適化問題において、DNNを用いてその構造を学習・活用できるか？
• RQ2 エンドツーエンド学習と比較して、DNNが深く問題構造を学習・活用するために段階的学習アプローチが不可欠であるか？
• RQ3 現在のMBOAが処理できないような高次依存関係（例：3変数以上、モジュラー相互作用）をDOが解けるか？
• RQ4 DNNを変異作用素に統合することで、TSPのようなベンチマーク問題において収束速度と解の品質が著しく向上するか？
• RQ5 DOは、非2値表現や非妥当な解空間を含む、さまざまな問題タイプに一般化可能か？

主な発見

• DOは、最先端のMBOAが解けない高次依存関係を有する問題であるパラティック・モジュラー制約問題（MC parity）を成功裏に解いた。
• TSPインスタンスにおいて、DOは局所探索ヒューリスティクス（例：2-opt、位置交換、挿入）を上回り、複数の問題サイズにおいて10回の実行すべてでグローバル最適解に到達した。
• DOがグローバル最適解に到達するための訓練試行回数は、リスタート勾配上昇法よりも顕著に少ないことから、問題構造の効率的かつ迅速な活用が示された。
• 大規模なTSPインスタンスにおいても、DOは、勾配上昇法が10,000回の試行を許可された場合でさえも、強力な性能を維持した。これは、構造の効率的活用とロバストネスを示している。
• DNNの段階的学習が不可欠であることが確認された。エンドツーエンド学習では深層構造を学習できず、階層的特徴学習の重要性が裏付けられた。
• DOにより、ドロップアウト、正則化、高度なアーキテクチャといった先進的な深層学習ツールを最適化に応用可能にし、一般化性能および探索効率の向上に新たな道を開いた。