[論文レビュー] Learning to Optimize

Ke Li, Jitendra Malik|arXiv (Cornell University)|Jun 6, 2016

Machine Learning and Data Classification参考文献 26被引用数 166

ひとこと要約

本論文は guided policy searchを用いて方策ベースの最適化アルゴリズムを学習し、どんな最適化手法も方策として扱えるとし、学習済み最適化子は凸・非凸問題のいずれにおいても、人手で設計されたものより収束が速く、より良い最適解に到達できることを示す。

ABSTRACT

Algorithm design is a laborious process and often requires many iterations of ideation and validation. In this paper, we explore automating algorithm design and present a method to learn an optimization algorithm, which we believe to be the first method that can automatically discover a better algorithm. We approach this problem from a reinforcement learning perspective and represent any particular optimization algorithm as a policy. We learn an optimization algorithm using guided policy search and demonstrate that the resulting algorithm outperforms existing hand-engineered algorithms in terms of convergence speed and/or the final objective value.

研究の動機と目的

• 無制約連続最適化アルゴリズムの設計を自動化する動機付け。
• 強化学習設定において最適化アルゴリズムを方策として表現する枠組みを開発する。
• 従来のアルゴリズムよりも高速に収束し、あるいはより良い最適解を見つける学習済み最適化子を訓練する。
• 未見の目的関数や長い最適化時間に対する学習済み最適化子の一般化を示す。

提案手法

• 政策が各反復で取るべきステップを決定する強化学習問題として最適化を定式化する。
• 最適化子を現在および過去の点における目的関数値と勾配を delta x のステップへ写像するポリシー pi として表現する。
• guided policy search を用いて、ターゲット軌道分布の構築とポリシーの教師あり学習を交互に行うことでポリシー パラメータを学習する。
• ポリシーを小さなニューラルネットワーク（1つの隠れ層、50ユニット、Softplus活性化）でモデル化する。
• 現在の位置、目的関数値の変化、および過去H=25ステップ分の勾配を含む状態を使用する；絶対座標は含めない。
• ランダムに生成された目的関数からの軌道を用いてポリシーを訓練する；ターゲット軌道を勾配降下法＋モーメントを模したものに初期化し、そこから洗練させる。
• 凸（logistic regression）および非凸（robust linear regressionおよび2層のReLUニューラルネット）目的関数で評価し、手動設計の最適化子（gradient descent、momentum、conjugate gradient、L-BFGS）と比較する。

実験結果

リサーチクエスチョン

• RQ1 異なる目的関数クラス（凸および非凸）全体で、学習済みの最適化ポリシーは従来の手動設計最適化子を上回ることができるか。
• RQ2 学習済み最適化子は、訓練時に見られたものよりも未知の目的関数やより長い最適化ホライズンに一般化できるか。
• RQ3 自律最適化子がベースラインと比較して最も顕著な改善を提供する、または制限を示す問題クラスはどれか。
• RQ4 凸目的関数に対して、L-BFGS のような最先端手法と比較して学習済み最適化子はどう機能するか。
• RQ5 非凸問題で自律最適化子は発散や局所最適解への閉塞を減らすか。

主な発見

• 自律最適化子はロジスティック回帰のテスト目的関数において、初期反復で特に、勾配降下法、モーメント、共役勾配よりも優れている。
• ロジスティック回帰では、L-BFGS がいくつかのケースでわずかに速く収束するが、自律最適化子は競争力を維持し、全体としてはしばしばより速い。
• robust linear regression では、自律最適化子がほとんどの反復で勾配降下法、共役勾配、L-BFGS を上回り、モーメントは初期段階で追いつくことがある。
• ニューラルネットの訓練では、自律最適化子がベースラインを大幅に上回り、振動を抑えつつより速い収束とより良い最適解を達成する。
• 非凸問題（robust regression およびニューラルネット）では、共役勾配と L-BFGS はしばしば発散する一方で、学習済み最適化子は安定性と優れた性能を維持する。
• 学習済み最適化子は40ステップの訓練軌道を超える長いホライズンにも一般化し、テスト目的関数でベースラインと同等かそれ以上の最適解を達成できる。