[논문 리뷰] The Landscape of Empirical Risk for Non-convex Losses

Mei Song, Yu Bai외 1명|arXiv (Cornell University)|2016. 07. 22.

Machine Learning and Algorithms참고 문헌 44인용 수 59

한 줄 요약

이 논문은 비볼록 손실 함수에 대해 경험적 위험의 기울기와 헤시안 행렬이 그들의 인구 대응항으로 일괄 수렴함을 확립하여, 경험적 위험과 인구 위험의 정류점 사이에 일대일 대응 관계를 가능하게 한다. 이는 비볼록 이진 분류, 강건 회귀, 가우시안 혼합 모델과 같은 문제들에서, 적당한 표본 크기 조건(n ≳ p log n) 하에 경사 하강 알고리즘이 전역 최소값으로 수렴함을 보여준다.

ABSTRACT

Most high-dimensional estimation and prediction methods propose to minimize a cost function (empirical risk) that is written as a sum of losses associated to each data point. In this paper we focus on the case of non-convex losses, which is practically important but still poorly understood. Classical empirical process theory implies uniform convergence of the empirical risk to the population risk. While uniform convergence implies consistency of the resulting M-estimator, it does not ensure that the latter can be computed efficiently. In order to capture the complexity of computing M-estimators, we propose to study the landscape of the empirical risk, namely its stationary points and their properties. We establish uniform convergence of the gradient and Hessian of the empirical risk to their population counterparts, as soon as the number of samples becomes larger than the number of unknown parameters (modulo logarithmic factors). Consequently, good properties of the population risk can be carried to the empirical risk, and we can establish one-to-one correspondence of their stationary points. We demonstrate that in several problems such as non-convex binary classification, robust regression, and Gaussian mixture model, this result implies a complete characterization of the landscape of the empirical risk, and of the convergence properties of descent algorithms. We extend our analysis to the very high-dimensional setting in which the number of parameters exceeds the number of samples, and provide a characterization of the empirical risk landscape under a nearly information-theoretically minimal condition. Namely, if the number of samples exceeds the sparsity of the unknown parameters vector (modulo logarithmic factors), then a suitable uniform convergence result takes place. We apply this result to non-convex binary classification and robust regression in very high-dimension.

연구 동기 및 목표

• 고차원 비볼록 설정에서 고전적 볼록성 가정이 실패할 때 M-추정기의 계산 복잡도를 이해하기 위해.
• 비볼록 손실 함수에 대해 경험적 위험의 지오메트릭 구조—특히 정류점과 그 안정성—를 규명하기 위해.
• 비볼록성에도 불구하고 경사 하강 알고리즘이 전역 최소값으로 수렴할 수 있는 조건을 확립하기 위해.
• 희소성 가정 하에 고차원 영역(p ≫ n)으로 이러한 결과를 확장하기 위해.
• 강건 회귀 및 혼합 모델과 같은 문제들에서 비볼록 최적화의 경험적 성공에 대한 이론적 기반을 제공하기 위해.

제안 방법

• 경험적 위험의 지오메트릭 구조를 분석하기 위한 프레임워크를 제안하며, 이는 기울기와 헤시안 행렬이 인구 대응항으로 일괄 수렴하는 것을 기반으로 한다.
• 경험 과정 이론을 사용하여, n ≳ p log n 이면 경험적 위험이 인구 위험의 기하적 성질을 그대로 이어받음을 보여준다.
• 약한 정칙 조건 하에서 경험적 위험과 인구 위험의 정류점 사이에 일대일 대응 관계를 확립한다.
• 비볼록 이진 분류, 비볼록 ρ-함수를 가진 강건 회귀, 가우시안 혼합 모델과 같은 세 가지 표준 문제에 프레임워크를 적용한다.
• 희소성 가정을 통해 고차원 설정으로 분석을 확장하며, 진짜 매개변수의 희소성 s에 대해 n ≳ s log n 이면 일괄 수렴이 성립함을 보인다.
• 신뢰 영역 방법을 활용하여 유도된 지오메트릭 성질 하에서 전역 최소값으로의 전역 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 비볼록 M-추정에서 경험적 위험의 지오메트릭 구조가 인구 위험의 지오메트릭 구조를 어떤 조건에서 반영하는가?
• RQ2 기울기 하강법 또는 신뢰 영역 방법과 같은 경사 하강 알고리즘이 비볼록 문제에서 전역 최소값으로 전역 수렴할 수 있는가?
• RQ3 표본 크기 n이 매개변수의 수 p(또는 희소성 s)와 어떻게 관련되어 있어야 경험적 위험이 인구 위험의 유리한 기하적 성질을 이어받는가?
• RQ4 기울기와 헤시안 행렬의 일괄 수렴은 비볼록 최적화의 수렴 보장을 확립하는 데 어떤 역할을 하는가?
• RQ5 p ≫ n 인 고차원 설정에서 희소성 가정 하에 비볼록 M-추정기의 전역 수렴을 여전히 달성할 수 있는가?

주요 결과

• n ≳ p log n 이면 경험적 위험의 기울기와 헤시안 행렬이 인구 위험의 기울기와 헤시안 행렬로 일괄 수렴하며, 이는 정류점의 일대일 대응을 보장한다.
• 제곱 손실을 가진 비볼록 이진 분류 문제에서 경험적 위험의 지오메트릭 구조는 진짜 매개변수 근처에 정확히 두 개의 국소 최소값을 가지며, 경사 하강 방법은 그 중 하나로 수렴한다.
• 비볼록 ρ-함수를 가진 강건 회귀 문제에서, 동일한 표본 크기 조건 하에 경험적 위험의 지오메트릭 구조는 임의의 가짜 국소 최소값이 존재하지 않음을 유지한다.
• 가우시안 혼합 모델에서 경험적 위험은 세 개의 정류점을 가진다: 진짜 성분 평균 근처에 두 개의 국소 최소값과 원점에 하나의 안장점이며, 신뢰 영역 방법은 전역 최소값으로 수렴한다.
• 고차원 설정에서 p ≫ n 이고 진짜 매개변수가 s-희소일 경우, n ≳ s log n 이면 여전히 기울기와 헤시안 행렬의 일괄 수렴이 성립하며, 이는 경사 하강 알고리즘의 전역 수렴을 가능하게 한다.
• 가우시안 혼합 모델에서 원점 근처의 이웃에서 초기화된 경우, n ≳ d log d 이면 신뢰 영역 방법이 전역 최소값으로 수렴한다.