[論文レビュー] Finding Local Minima for Nonconvex Optimization in Linear Time

Naman Agarwal, Zeyuan Allen-Zhu+3 more|arXiv (Cornell University)|Nov 3, 2016

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

この論文は、問題の次元および学習例の数に対して線形時間で近似的な局所最小値を探索する非凸の2次最適化アルゴリズムを提案する。勾配降下法よりも収束速度が速く、ニューラルネットワーク学習を含む機械学習問題に広く適用可能である。

ABSTRACT

We design a non-convex second-order optimization algorithm that is guaranteed to return an approximate local minimum in time which scales linearly in the underlying dimension and the number of training examples. The time complexity of our algorithm to find an approximate local minimum is even faster than that of gradient descent to find a critical point. Our algorithm applies to a general class of optimization problems including training a neural network and other non-convex objectives arising in machine learning.

研究の動機と目的

• 機械学習で一般的な非凸問題において、近似的な局所最小値を効率的に探索する最適化アルゴリズムを開発すること。
• パrameter数および学習例の数の両方に対して線形時間計算量を達成すること。
• 臨界点に到達するまでの収束速度において、勾長降下法を上回ること。
• 一般非凸目的関数における近似的な局所最小値への収束について理論的保証を提供すること。
• ニューラルネットワークなど複雑なモデルへの適用可能性を拡張すること。

提案手法

• アルゴリズムは、1次手法よりも非凸な形状をより効果的に探索できる2次最適化技術を採用する。
• 曲率情報を活用することで、局所最小値への収束を加速する。
• パrameter空間の次元および学習例の数に対して、線形にスケーリングされるように設計されている。
• 一般非凸条件下で、近似的な局所最小値への収束を保証する。
• ニューラルネットワーク学習を含む広範な機械学習目的関数のクラスを扱えるようにアルゴリズムが定式化されている。
• 2次情報を利用することで、勾長降下法よりも高速な収束を達成する。

実験結果

リサーチクエスチョン

• RQ1 2次最適化アルゴリズムは、非凸問題においてパrameter数および学習例の数に対して線形時間で近似的な局所最小値を探索できるか？
• RQ2 このアルゴリズムの収束速度は、臨界点に到達するまでの勾長降下法と比べてどの程度か？
• RQ3 この手法は、問題の次元および学習データサイズに対して線形スケーラビリティを維持するか？
• RQ4 このアルゴリズムは、ニューラルネットワーク学習を含む一般非凸目的関数に効果的に適用可能か？
• RQ5 この手法を用いた近的局所最小値への収束について、どのような理論的保証を提供できるか？

主な発見

• アルゴリズムは、パrameter数および学習例の数に線形に比例する時間で近似的な局所最小値を探索する。
• 勾長降下法が臨界点への収束しか保証しないのに対し、より速い収束を達成する。
• この手法は、ニューラルネットワーク学習を含む一般非凸最適化問題のクラスに適用可能である。
• アルゴリズムは、近的局所最小値への収束について理論的保証を提供する。
• 同様の目的関数に対して、標準的な勾長降下法と比較して優れた時間計算量を示す。
• この手法は、大規模機械学習問題においてスケーラブルで効率的である。