[논문 리뷰] Local Optimality and Generalization Guarantees for the Langevin Algorithm via Empirical Metastability

Belinda Tzen, Tengyuan Liang외 1명|arXiv (Cornell University)|2018. 02. 18.

Markov Chains and Monte Carlo Methods참고 문헌 12인용 수 6

한 줄 요약

이 논문은 비볼록 경험적 리스크 최소화에서 랭제빈 알고리즘의 국소 최적성과 일반화 보장을 확립하기 위해 경험적 준안정성의 개념을 도입한다. 높은 확률로, 알고리즘이 국소 최적해의 $\varepsilon$-근접 영역에서 신속히 탈출하거나 또는 지수적으로 긴 시간 동안 그 안에 머무르며, 이는 아이링-크램어스 법칙과 일치하며, 인구 리스크에 대한 약한 가정 하에 일반화 경계를 가능하게 한다.

ABSTRACT

We study the detailed path-wise behavior of the discrete-time Langevin algorithm for non-convex Empirical Risk Minimization (ERM) through the lens of metastability, adopting some techniques from Berglund and Gentz (2003. For a particular local optimum of the empirical risk, with an arbitrary initialization, we show that, with high probability, at least one of the following two events will occur: (1) the Langevin trajectory ends up somewhere outside the $\varepsilon$-neighborhood of this particular optimum within a short recurrence time; (2) it enters this $\varepsilon$-neighborhood by the recurrence time and stays there until a potentially exponentially long escape time. We call this phenomenon empirical metastability. This two-timescale characterization aligns nicely with the existing literature in the following two senses. First, the effective recurrence time (i.e., number of iterations multiplied by stepsize) is dimension-independent, and resembles the convergence time of continuous-time deterministic Gradient Descent (GD). However unlike GD, the Langevin algorithm does not require strong conditions on local initialization, and has the possibility of eventually visiting all optima. Second, the scaling of the escape time is consistent with the Eyring-Kramers law, which states that the Langevin scheme will eventually visit all local minima, but it will take an exponentially long time to transit among them. We apply this path-wise concentration result in the context of statistical learning to examine local notions of generalization and optimality.

연구 동기 및 목표

• 비볼록 경험적 리스크 최소화에서 랭제빈 알고리즘의 정교한 경로 기반 분석을 제공하기 위해.
• 세 가지 시간 척도에서 알고리즘의 행동을 기술하기 위해: 단기 재진입, 중간 준안정, 장기 탈출 시간.
• 경험적 준안정성을 통한 일반화 보장을 수립하여 통계학적 학습 성능과 연결하기 위해.
• 경사 하강법과 달리 강력한 초기화 조건이 필요 없이도 랭제빈 알고리즘이 열악한 국소 최적해에 갇히지 않고 탈출할 수 있음을 보여주기 위해.
• 경험 리스크가 인구 리스크에서 벗어나는 편차에 대한 고확률 경계를 유도하여 안정성과 일반화를 보장하기 위해.

제안 방법

• 스토크래틱 프로세스 및 준안정성 이론의 기법을 사용하며, 특히 베르글루드와 젠투의 (2003) 연구에서 영향을 받는다. 이는 이산 랭제빈 역학을 분석하는 데 사용된다.
• 경험적 준안정성의 개념을 도입한다: 높은 확률로, 랭제빈 궤적은 국소 최적해의 $\varepsilon$-근접 영역에서 신속히 탈출하거나 또는 지수적으로 긴 시간 동안 그 안에 머무른다.
• 이중 시간 척도 분석을 적용한다: 재진입 시간은 차원에 의존하지 않으며, 결정론적 경사 하강법과 유사하다. 반면 탈출 시간은 아이링-크램어스 법칙에 따라 스케일링된다.
• 집중 부등식을 사용하여, 약한 정규성 조건 하에서 경험 리스크 및 그 기울기의 인구 리스크에서의 편차를 제어한다.
• 웨일의 변형 정리를 사용하여, 인구 리스크가 강한 모르스 조건을 만족할 경우 경험 리스크의 헤시안 행렬이 높은 확률로 잘 조절됨을 보여준다.
• 경험 리스크 오차를 두 성분으로 분해함으로써 일반화 경계를 도출한다: 경험-인구 편차와 궤적의 비최적성.

실험 결과

연구 질문

• RQ1 랭제빈 알고리즘이 경험 리스크의 열악한 국소 최적해에 갇히지 않고 탈출하는 조건은 무엇인가?
• RQ2 랭제빈 알고리즘의 재진입 시간은 차원과 스텝 사이즈에 따라 어떻게 스케일링되며, 결정론적 경사 하강법과 비교해보면 어떠한가?
• RQ3 국소 최적해에서의 평균 탈출 시간은 무엇이며, 비볼록 설정에서 아이링-크램어스 법칙과 일치하는가?
• RQ4 경험적 준안정성을 사용하여 통계학적 학습에서 랭제빈 알고리즘의 고확률 일반화 경계를 도출할 수 있는가?
• RQ5 표본 추출 하에서 경험 리스크 지형은 인구 리스크 지형과 어떻게 관련되어 있으며, 국소 최적해가 유지되기 위한 조건은 무엇인가?

주요 결과

• 높은 확률로, 랭제빈 궤적은 $\tilde{\mathcal{O}}\left(\frac{1}{\eta}\log\frac{1}{\varepsilon}\right)$ 의 재진입 시간 내에 국소 최적해의 $\varepsilon$-근접 영역에서 탈출하거나, 또는 지수적으로 긴 탈출 시간 동안 그 안에 머무른다.
• 재진입 시간은 차원에 의존하지 않으며, 연속 시간 결정론적 경사 하강법의 수렴 시간과 유사하다. 강력한 초기화 조건이 필요하지 않다.
• 탈출 시간은 아이링-크램어스 법칙에 따라 스케일링되며, 이는 알고리즘이 결국 모든 국소 최적해를 방문하지만, 그 시간이 차원에 대해 지수적으로 길다는 것을 의미한다.
• 약한 가정 하에, $n \geq cd\log d$ 이고 $n/d\log n \geq c\sigma^2/(\varepsilon_0 \wedge m)^2$ 라면, 경험 리스크는 높은 확률로 $(\varepsilon_0, m)$-강한 모를러가 된다. 이는 잘 조절된 국소 최적해를 보장한다.
• 높은 확률로 경험 리스크와 인구 리스크 간의 편차는 $\sigma\sqrt{cd\log n / n}$ 이하로 제한되며, 여기서 $\sigma = (A + (B + MR)R) \vee (B + MR) \vee (C + LR)$ 이다.
• 일반화 오차는 $\sigma\sqrt{cd\log n / n}$ 과 더불어, 궤적이 국소 최적해의 작은 근접 영역 내에 머무를 경우 사라지는 항으로 구성되며, 이는 고확률 후행 위험 경계를 도출한다.