[論文レビュー] Boosting Binary Optimization via Binary Classification: A Case Study of Job Shop Scheduling

Oleg V. Shylo, Hesam Shams|arXiv (Cornell University)|Aug 31, 2018

Metaheuristic Optimization Algorithms Research被引用数 9

ひとこと要約

本稿では、二値最適化における解の軌跡から学習するための新しいフレームワークを提案する。特に、ジョブショップスケジューリングのためのタブー探索を強化することを目的としている。各意思決定変数が最適解に属する確率をモデル化することで、探索の強化と多様化を誘導し、ベンチマークインスタンスにおいて新たな上限値の改善を達成するなど、著しく性能向上を実現した。

ABSTRACT

Many optimization techniques evaluate solutions consecutively, where the next candidate for evaluation is determined by the results of previous evaluations. For example, these include iterative methods, "black box" optimization algorithms, simulated annealing, evolutionary algorithms and tabu search, to name a few. When solving an optimization problem, these algorithms evaluate a large number of solutions, which raises the following question: Is it possible to learn something about the optimum using these solutions? In this paper, we define this "learning" question in terms of a logistic regression model and explore its predictive accuracy computationally. The proposed model uses a collection of solutions to predict the components of the optimal solutions. To illustrate the utility of such predictions, we embed the logistic regression model into the tabu search algorithm for job shop scheduling problem. The resulting framework is simple to implement, yet provides a significant boost to the performance of the standard tabu search.

研究の動機と目的

• 反復的最適化アルゴリズムの解の軌跡に、最適解に関する学習可能なパターンが含まれるかどうかを調査すること。
• 二値最適化問題における成分ごとの最適性確率を予測するため、ロジスティック回帰を用いた機械学習フレームワークを構築すること。
• この予測モデルをジョブショップスケジューリングのためのタブー探索に統合し、計算性能を向上させること。
• 最適化アルゴリズムを比較するための新しい実験的分析手法—確率優位性プロット—を導入すること。
• 本手法がジョブショップスケジューリングを越えて、他の二値最適化問題へも一般化可能であることを示すこと。

提案手法

• 本手法は、タブー探索からの歴史的解サンプルを用いてトレーニングされたロジスティック回帰を用い、各二値意思決定変数が最適解に属する確率をモデル化する。
• ロジスティック回帰モデルは、時系列順の解サンプルを用いて反復的に更新され、現在の反復ステップに応じたパラメータ調整により、探索と活用のバランスを取る。
• 予測された確率を用いて、予測された最適性の可能性が高い変数に近づくように、近傍移動の選択をバイアス化することで、タブー探索をガイドする。
• ロジスティック回帰モデルのための動的パrameter更新ルールを導入し、収束を早めすぎないよう、学習率を時間関数として定義する。
• 標準的なタブー探索アルゴリズムに本フレームワークを統合し、従来の多様化・強化戦略を置き換えたり強化したりする。
• 反復ごとに、1つのアルゴリズムが他より良い解を発見する可能性を比較するための新しい性能評価手法、確率優位性プロットを導入する。

実験結果

リサーチクエスチョン

• RQ1 反復的最適化アルゴリズムの解の軌跡から、二値変数が最適解に属する可能性を学習できるか？
• RQ2 ロジスティック回帰は、ジョブショップスケジューリングのような二値最適化問題において、成分ごとの最適性をどれほど正確に予測できるか？
• RQ3 このような予測をタブー探索に統合することで、標準実装と比較して性能が著しく向上するか？
• RQ4 ロジスティック回帰モデルにおける動的パrameterチューニングが収束性と解の品質に与える影響は何か？
• RQ5 確率優位性プロットは、最適化アルゴリズムの評価において、従来の性能指標と比較してどう異なるか？

主な発見

• ロジスティック回帰モデルは、解の軌跡から学習し、最適解に属する可能性が高い変数を高い精度で予測できた。
• ロジスティック回帰予測を用いたガイド付きタブー探索は、タイラーのベンチマークおよびデミルコルのベンチマークの両方で、標準タブー探索を上回る性能を示した。
• 本フレームワークにより、以前に未解決または下限が不十分だった29件のジョブショップスケジューリングインスタンス（dum42-dum80およびta48を含む）の上限値が改善された。
• 確率優位性プロットは、ガイド付きタブー探索が反復の後半においても標準タブー探索を一貫して上回ることを示した。
• 最小ロジスティックパrameter θmin を 0.001 から 0.0001 に低下させることで、最も困難なインスタンス（dmu71-dmu80）における早期収束問題が解消され、性能が著しく向上した。
• 本手法は一般化可能であり、最適性の証明に応用可能な分枝限定法への応用も含め、他の二値最適化問題へも適用可能である。