[論文レビュー] Deep Learning for Explicitly Modeling Optimization Landscapes

Shumeet Baluja|arXiv (Cornell University)|Mar 21, 2017

Machine Learning and Data Classification参考文献 30被引用数 5

ひとこと要約

この論文では、複雑で高次元の問題の評価関数を近似するように訓練された深層ニューラルネットワーク（DNN）を用いて、最適化のランドスケープを明示的にモデル化する深層学習ベースの手法を提案する。『ディープネットワークインバージョン』を用いて高品質な初期解を生成することで、組合せ的・離散的・連続的最適化問題を含む多様な分野において局所探索の性能が向上し、遺伝的アルゴリズムなどの標準的な確率的探索手法よりも顕著な向上が得られた。

ABSTRACT

In all but the most trivial optimization problems, the structure of the solutions exhibit complex interdependencies between the input parameters. Decades of research with stochastic search techniques has shown the benefit of explicitly modeling the interactions between sets of parameters and the overall quality of the solutions discovered. We demonstrate a novel method, based on learning deep networks, to model the global landscapes of optimization problems. To represent the search space concisely and accurately, the deep networks must encode information about the underlying parameter interactions and their contributions to the quality of the solution. Once the networks are trained, the networks are probed to reveal parameter combinations with high expected performance with respect to the optimization task. These estimates are used to initialize fast, randomized, local search algorithms, which in turn expose more information about the search space that is subsequently used to refine the models. We demonstrate the technique on multiple optimization problems that have arisen in a variety of real-world domains, including: packing, graphics, job scheduling, layout and compression. The problems include combinatoric search spaces, discontinuous and highly non-linear spaces, and span binary, higher-cardinality discrete, as well as continuous parameters. Strengths, limitations, and extensions of the approach are extensively discussed and demonstrated.

研究の動機と目的

• 深層ニューラルネットワークを用いて最適化ランドスケープの構造を明示的にモデル化する手法を開発すること。
• 訓練済みDNNを用いて局所探索のための高品質な初期解を生成することで、確率的最適化を改善すること。
• DNNから学習されたパラメータの相互作用を活用することで、局所探索におけるランダムな摂動に依存するのを減らすこと。
• 勾配降下法や遺伝的アルゴリズムなどの従来の最適化ヒューリスティクスと深層学習を統合することの可能性を検討すること。
• 組合せ的・不連続的・非線形な探索空間を含む、多様な問題タイプに対してこの手法を評価すること。

提案手法

• サンプルされた解を用いて、最適化問題の真の評価関数を近似するための深層順方向ニューラルネットワークを訓練する。
• 『ディープネットワークインバージョン』—微分可能でサンプリング可能な技術—を用いて、訓練済みDNNから高い期待性能を持つ新たな候補解を生成する。
• これらのDNNによって生成された候補解を初期解として、高速でランダムな局所探索アルゴリズム（例：NASH）を走らせる。これにより、探索空間の有望な領域を探索する。
• 局所探索からの新しい評価結果を収集し、更新されたデータでネットワークを再訓練することで、DNNモデルを段階的に改善する。
• 継続的な訓練における過学習を防ぐために、早期停止と正則化を適用する。
• DNNをサーヴィレート評価関数として用いることで、高価な実際の評価に依存するのを減らし、探索を加速する。

実験結果

リサーチクエスチョン

• RQ1 最小限の問題固有の設計を伴っても、深層ニューラルネットワークが複雑で高次元の最適化ランドスケープを効果的にモデル化できるか？
• RQ2 DNNによって生成された初期解を用いることで、ランダム初期化に比べて局所探索アルゴリズムの性能が向上するか？
• RQ3 深層学習と確率的最適化を統合することで、多様な問題タイプにおける収束速度と解の品質にどのような影響を与えるか？
• RQ4 DNNモデルが類似した最適化問題間で一般化可能であり、トランスファーラーニングを可能にし、再訓練を削減できるか？
• RQ5 この手法の頑健性とスケーラビリティに影響を与える主要なハイパーパrameterとトレーニング戦略は何か？

主な発見

• Deep-Opt-GAアプローチは、グラフベースの制約問題において平均5131の性能を達成し、集団サイズ50および100の標準的GA（それぞれ4817および4825）を大きく上回り、全20インスタンスで勝利した。
• 問題タイプや探索空間の特性が異なるにもかかわらず、パッケージング、グラフィックス、ジョブスケジューリング、レイアウト、圧縮といった複数の分野で一貫した改善が見られた。
• 高品質な初期解を生成するためのディープネットワークインバージョンの使用により、局所探索手順の収束が速くなり、より優れた解が得られた。
• 同じ5層および10層の順方向ネットワークをすべての問題に同一に適用し、問題固有の修正なしに、最小限のアーキテクチャチューニングで高い性能を発揮した。
• 過去の評価から学習されたパラメータの相互作用と依存関係を組み込むことで、ランダムな探索に依存するのを減らし、より知的な探索方向を可能にした。
• 新しいサンプルが収容できない場合、ネットワークを再訓練し直す必要があることが判明し、重みスケーリングに敏感であり、継続的訓練における正則化の必要性が示された。