[論文レビュー] Uniform Convergence of Gradients for Non-Convex Learning and Optimization

Dylan J. Foster, Ayush Sekhari+1 more|arXiv (Cornell University)|Oct 25, 2018

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

本稿では、非凸学習における勾配の一様収束を次元に依存しない道具として確立するため、ベクトル値ラダマッハ複雑度を導入する。これにより、勾配ベース最適化における最適な標本複雑度の上限が得られる。また、弱い分布的仮定のもとでは、リLUネットワークのような非滑らかモデルですら、次元に依存しない収束レートを達成できることを示している。

ABSTRACT

We investigate 1) the rate at which refined properties of the empirical risk---in particular, gradients---converge to their population counterparts in standard non-convex learning tasks, and 2) the consequences of this convergence for optimization. Our analysis follows the tradition of norm-based capacity control. We propose vector-valued Rademacher complexities as a simple, composable, and user-friendly tool to derive dimension-free uniform convergence bounds for gradients in non-convex learning problems. As an application of our techniques, we give a new analysis of batch gradient descent methods for non-convex generalized linear models and non-convex robust regression, showing how to use any algorithm that finds approximate stationary points to obtain optimal sample complexity, even when dimension is high or possibly infinite and multiple passes over the dataset are allowed. Moving to non-smooth models we show----in contrast to the smooth case---that even for a single ReLU it is not possible to obtain dimension-independent convergence rates for gradients in the worst case. On the positive side, it is still possible to obtain dimension-independent rates under a new type of distributional assumption.

研究の動機と目的

• 入力次元に依存しない非凸学習問題における勾配の一様収束を分析する一般枠組みの構築。
• 勾配の一様収束が、非凸一般化線形モデルおよびロバスト回帰における最適な標本複雑度を実現することを確立すること。
• リLUネットワークのような非滑らか設定における次元に依存しない収束の限界を調査し、それが依然として可能となる条件を同定すること。
• 勾配ベース手法が、経験的リスクのグローバル最小化が困難な非凸機械学習でなぜ成功するのかという理論的基盤を提供すること。

提案手法

• 非凸設定における勾配収束の分析に用いる、ノルムに基づく容量制御ツールとしてのベクトル値ラダマッハ複雑度を提案する。
• 合成関数の勾配の複雑度をその部分関数の成分に分解するための「合成則」を導入する。
• 非凸モデルにおける2階勾配項の複雑度を抑え込むために、ブロックごとの収縮原理を適用する。
• 過剰リスクを勾配の大きさに関連付ける勾配支配条件を確立し、最適化の保証を可能にする。
• リLUネットワークのような非滑らかモデルにおいても次元に依存しない収束を回復するための新しいマージン型分布的仮定を用いる。
• 導出された境界のもとで、バッチ勾配降下法などの標準的アルゴリズムを分析し、それらが最適な標本複雑度を達成できることを示す。

実験結果

リサーチクエスチョン

• RQ1 非凸学習問題において、次元に依存しない方法で勾配の一様収束を確立できるか？
• RQ2 高次元または無限次元の設定において、勾配ベース最適化が最適な標本複雑度を達成するための条件は何か？
• RQ3 最悪ケースの仮定のもとで、リLUネットワークのような非滑らかモデルにおいても次元に依存しない勾配収束が可能か？
• RQ4 新しいタイプの分布的仮定が、非滑らか非凸モデルにおける次元に依存しない収束を可能にするか？
• RQ5 勾配の一様収束をどのように活用して、非凸設定における最適化アルゴリズムの過剰リスクを抑えられるか？

主な発見

• ベクトル値ラダマッハ複雑度は、非凸学習における勾配の次元に依存しない一様収束境界を導出するための合成可能で使いやすい手法を提供する。
• 滑らかでない非凸一般化線形モデルおよびロバスト回帰においては、近似的な停留点を探索する任意のアルゴリズムが、データを複数回走査しても最適な標本複雑度を達成する。
• 最悪ケースでは、リLUネットワークのような非滑らかモデルは次元に依存しない勾配収束レートを有しない。
• しかし、新しいマージン型分布的仮定のもとでは、非滑らか設定においても次元に依存しない収束レートが依然として達成可能である。
• この枠組みにより、勾配の一様収束と過剰リスクの直接的な関連付けが可能となり、勾配ベース手法が非凸問題において最適な一般化性能を達成できることを示している。
• ラダマッハ複雑度の合成則とブロックごとの収縮を用いて理論的境界を導出し、データノルムと関数の滑らかさに依存する明示的な標本複雑度レートが得られた。