[論文レビュー] Learning to Optimize: A Primer and A Benchmark

Tianlong Chen, Xiaohan Chen+5 more|arXiv (Cornell University)|Mar 23, 2021

Machine Learning and Data Classification参考文献 240被引用数 92

ひとこと要約

連続最適化のための Learning to Optimize (L2O) 手法の包括的な調査およびベンチマーク。分類法、アーキテクチャ（モデルフリーとモデルベース）、トレーニング戦略、再現性のある Open-L2O ベンチマークを概説。

ABSTRACT

Learning to optimize (L2O) is an emerging approach that leverages machine learning to develop optimization methods, aiming at reducing the laborious iterations of hand engineering. It automates the design of an optimization method based on its performance on a set of training problems. This data-driven procedure generates methods that can efficiently solve problems similar to those in the training. In sharp contrast, the typical and traditional designs of optimization methods are theory-driven, so they obtain performance guarantees over the classes of problems specified by the theory. The difference makes L2O suitable for repeatedly solving a certain type of optimization problems over a specific distribution of data, while it typically fails on out-of-distribution problems. The practicality of L2O depends on the type of target optimization, the chosen architecture of the method to learn, and the training procedure. This new paradigm has motivated a community of researchers to explore L2O and report their findings. This article is poised to be the first comprehensive survey and benchmark of L2O for continuous optimization. We set up taxonomies, categorize existing works and research directions, present insights, and identify open challenges. We also benchmarked many existing L2O approaches on a few but representative optimization problems. For reproducible research and fair benchmarking purposes, we released our software implementation and data in the package Open-L2O at https://github.com/VITA-Group/Open-L2O.

研究の動機と目的

• Learning to Optimize (L2O) のパラダイムを定義し、それを従来の理論主導の最適化手法と比較する。
• モデルフリーおよびモデルベースの L2O アプローチとそれらのトレーニング機構を調査する。
• 公正な比較のためのベンチマーク実験と再現性のある Open-L2O リソースを提供する。

提案手法

• L2O アプローチをモデルフリーとモデルベースに分類し、アーキテクチャ（例：LSTM、RNN、MLP）と更新則の定式化を詳述する。
• 時間歩幅 T にわたる目的値の加重和を最適化するアンローリングベースのトレーニング目的（式 1）を説明する。
• 入力特徴、ベース最適化器の統合、一般化と安定性を向上させるトレーニング戦略といった設計の選択肢を論じる。
• 切断バイアス、メモリ制約、一般化へ対処する主要技術を要約する（例：ランダムスケーリング、階層型 RNN、オフポリシー模倣）。
• 代替実装（強化学習、ニューラルシンボリック手法）および勾配非依存最適化タスク（ブラックボックス、ミニマックス）を提示する。
• 再現性のある評価のための Open-L2O ベンチマークスイートを提供する。

実験結果

リサーチクエスチョン

• RQ1 同様のタスク分布で従来の手作業で設計されたオプティマイザを上回るように、L2O オプティマイザをどのように定式化し、訓練できるか？
• RQ2 L2O における主要なモデルベースとモデルフリーのアプローチは何で、彼らのトレーニング目的とアーキテクチャが性能と一般化にどう影響するか？
• RQ3 L2O における切断バイアスやメモリボトルネックなどの問題を緩和するトレーニング技術とアーキテクチャ設計は何か？
• RQ4 ブラックボックス、ミニマックス、スウォームベースの問題などの非標準最適化タスクにおけるモデルフリーL2O手法の性能はどうか？
• RQ5 再現性のある L2O 手法の評価を可能にするリソースとベンチマーク（Open-L2O）は何があるか？

主な発見

• L2O メソッドは同じタスク分布からの unseen optimizee に対して適切な訓練の下、従来のオプティマイザよりも収束が速くなる場合がある。
• モデルフリー L2O は主に RNNs/LSTMs を用いて更新則を学習し、効率の向上を達成できるが、長い時間 horizon に対して一般化と安定性の課題に直面する。
• モデルベース L2O は既存の最適化構造を開始点として活用し、探索空間を削減しロバスト性を向上させる。
• トレーニング技術（例：切断管理、ランダムスケーリング、階層的アーキテクチャ）は不安定性を緩和し一般化を向上させる。
• Open-L2O は代表的な最適化問題に対して L2O 手法を評価するための再現性のあるソフトウェアとデータを提供する。