[論文レビュー] The Landscape of Empirical Risk for Non-convex Losses

Mei Song, Yu Bai+1 more|arXiv (Cornell University)|Jul 22, 2016

Machine Learning and Algorithms参考文献 44被引用数 59

ひとこと要約

この論文は、非凸損失関数に対して、経験的リスクの勾配およびヘッセ行列が、それらの母集団対応物に一様収束することを確立し、経験的リスクと母集団リスクの停留点の間の一対一対応を可能にする。これは、n ≳ p log n のやや緩い標本サイズ条件のもとで、勾配降下法などの降下アルゴリズムが非凸バイナリ分類、ロバスト回帰、ガウス・ミックスチャネル・モデルなどの問題でグローバル・ミニマに収束することを示している。

ABSTRACT

Most high-dimensional estimation and prediction methods propose to minimize a cost function (empirical risk) that is written as a sum of losses associated to each data point. In this paper we focus on the case of non-convex losses, which is practically important but still poorly understood. Classical empirical process theory implies uniform convergence of the empirical risk to the population risk. While uniform convergence implies consistency of the resulting M-estimator, it does not ensure that the latter can be computed efficiently. In order to capture the complexity of computing M-estimators, we propose to study the landscape of the empirical risk, namely its stationary points and their properties. We establish uniform convergence of the gradient and Hessian of the empirical risk to their population counterparts, as soon as the number of samples becomes larger than the number of unknown parameters (modulo logarithmic factors). Consequently, good properties of the population risk can be carried to the empirical risk, and we can establish one-to-one correspondence of their stationary points. We demonstrate that in several problems such as non-convex binary classification, robust regression, and Gaussian mixture model, this result implies a complete characterization of the landscape of the empirical risk, and of the convergence properties of descent algorithms. We extend our analysis to the very high-dimensional setting in which the number of parameters exceeds the number of samples, and provide a characterization of the empirical risk landscape under a nearly information-theoretically minimal condition. Namely, if the number of samples exceeds the sparsity of the unknown parameters vector (modulo logarithmic factors), then a suitable uniform convergence result takes place. We apply this result to non-convex binary classification and robust regression in very high-dimension.

研究の動機と目的

• 古典的な凸性仮定が成り立たない高次元非凸設定におけるM推定量の計算複雑性を理解すること。
• 非凸損失関数に対する経験的リスクの形状——特に停留点およびその安定性——を特徴づけること。
• 非凸性にもかかわらず降下アルゴリズムがグローバル・ミニマに収束するための条件を確立すること。
• スパarsity仮定の下で、p ≫ n の高次元設定にこれらの結果を拡張すること。
• ロバスト回帰や混合モデルのような問題における非凸最適化の経験的成功の理論的基盤を提供すること。

提案手法

• 経験的リスクの形状を、勾配およびヘッセ行列が母集団対応物に一様収束することによって分析するフレームワークを提案する。
• 標本過程理論を用いて、n ≳ p log n のとき、経験的リスクが母集団リスクの幾何的性質を継承することを示す。
• やや緩い正則性条件のもとで、経験的リスクと母集団リスクの停留点の間の一対一対応を確立する。
• 非凸バイナリ分類、非凸ρ関数を用いたロバスト回帰、ガウス・ミックスチャネル・モデルという3つの代表的問題にこのフレームワークを適用する。
• スパarsityを仮定することで高次元設定への分析を拡張し、真のパラメータがsスパースである場合にn ≳ s log n で一様収束が成立することを示す。
• 信頼領域法を活用して、導出された形状特性のもとでグローバル・ミニマへのグローバル収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 非凸M推定量において、経験的リスクの形状が母集団リスクの形状をどの程度再現するか。
• RQ2 勾配降下法や信頼領域法などの降下アルゴリズムが、非凸問題においてグローバル・ミニマにグローバルに収束できるか。
• RQ3 サンプルサイズnとパラメータ数p（またはスパarsity s）の関係は、経験的リスクが母集団リスクの望ましい幾何的性質を継承するためにどの程度必要か。
• RQ4 勾配およびヘッセ行列の一様収束が、非凸最適化における収束保証を確立する上で果たす役割は何か。
• RQ5 p ≫ n の高次元設定において、スパarsity仮定のもとで、非凸M推定量のグローバル収束を達成できるか。

主な発見

• n ≳ p log n のとき、経験的リスクの勾配およびヘッセ行列が母集団リスクのそれらに一様収束し、停留点の間の一対一対応が保証される。
• 二乗損失を用いた非凸バイナリ分類では、経験的リスクの形状には真のパラメータの周辺に正確に2つの局所的最小値が存在し、降下法はそのうちの1つに収束する。
• 非凸ρ関数を用いたロバスト回帰では、同じ標本サイズ条件のもとで、偽の局所的最小値の不在が経験的リスクの形状に継承される。
• ガウス・ミックスチャネル・モデルでは、経験的リスクには3つの停留点が存在する：真の成分平均の周辺に2つの局所的最小値と、原点に1つのサドル点であり、信頼領域法はグローバル・ミニマに収束する。
• p ≫ n の高次元設定において、真のパラメータがsスパースで、n ≳ s log n であれば、勾配およびヘッセ行列の一様収束が依然として成立し、降下アルゴリズムのグローバル収束が可能になる。
• ガウス・ミックスチャネル・モデルにおいて、初期値が原点の近傍にある限り、信頼領域法はグローバル・ミニマに収束する。このときn ≳ d log d が成立する必要がある。