[논문 리뷰] Fast Rates for Empirical Risk Minimization of Strict Saddle Problems

Alon Gonen, Shai Shalev‐Shwartz|arXiv (Cornell University)|2017. 01. 16.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 6

한 줄 요약

이 논문은 헤시안 행렬의 스펙트럼 분해와 기울기 노름의 경계를 활용하여 엄격한 안장점 문제에서 경험적 위험 최소화의 빠른 수렴 속도를 확립한다. 기울기 노름이 작을 경우 해가 전역 최적해에 가까워지며, 헤시안과 고유값 분포에 대한 온건한 조건 하에서 빠른 수렴 속도를 달성함을 증명한다.

ABSTRACT

We derive bounds on the sample complexity of empirical risk minimization (ERM) in the context of minimizing non-convex risks that admit the strict saddle property. Recent progress in non-convex optimization has yielded efficient algorithms for minimizing such functions. Our results imply that these efficient algorithms are statistically stable and also generalize well. In particular, we derive fast rates which resemble the bounds that are often attained in the strongly convex setting. We specify our bounds to Principal Component Analysis and Independent Component Analysis. Our results and techniques may pave the way for statistical analyses of additional strict saddle problems.

연구 동기 및 목표

• 엄격한 안장점이 있는 비볼록 문제에서 경험적 위험 최소화의 빠른 수렴을 달성하는 데 도전한다.
• 고차원 환경에서 기울기 노름 경계가 전역 최적해에 가까이 있음을 보장하는 조건을 조사한다.
• 헤시안의 구조와 고유값 분포를 바탕으로 수렴 속도에 대한 이론적 보장을 제공한다.
• 엄격한 안장 문제에서 작은 기울기 노름과 전역 해에의 근접성 간의 연결 고리를 설정한다.

제안 방법

• 헤시안 행렬 $ A $ 의 고유기저에서 해 벡터 $ w $ 를 분해하여 $ w = \sum_{i=1}^d \alpha_i u_i $ 로 표현한다.
• 가정 $ \|\nabla f(w)\| \leq \tau = cG $ 를 사용하여 이차형식 $ \| (\lambda I - A)w \|^2 = \sum_{i=1}^d \alpha_i^2 (\lambda - \lambda_i)^2 $ 를 경계한다.
• 마르코프 부등식을 적용하여 $ \lambda $ 에서 멀리 떨어진 고유값의 질량을 제어하고, 구간 $ I_t = \{ i : |\lambda - \lambda_i| \leq 2^t \tau \} $ 를 정의한다.
• 기울기 노름이 작은 경우, $ \lambda $ 에서 멀리 떨어진 고유값의 확률 질량이 지수적으로 감소함을 보여, 주요 고유값 근처 집중을 유도한다.
• 고유벡터 $ u_1 $ 의 최적성 조건 $ \lambda \leq \lambda_1 $ 을 활용하여 전역 해에서의 편차를 경계한다.
• 작은 기울기 노름이 기하 오차 조건 정의에서 두 번째 또는 세 번째 조건을 만족함을 증명하여 빠른 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 엄격한 안장 문제에서 작은 기울기 노름이 전역 최적해에의 근접성을 보장하는 조건은 무엇인가?
• RQ2 헤시안의 고유값 분포가 경험적 위험 최소화에서 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 비볼록 최적화에서 먼 고유값 기여를 경계하는 데 마르코프 부등식이 효과적으로 사용될 수 있는가?
• RQ4 엄격한 안장 문제에서 기울기 노름과 헤시안의 기하학적 구조 간의 관계는 무엇인가?
• RQ5 스펙트럼 분해와 고유값 클러스터링은 일阶 방법의 수렴 속도에 어떻게 영향을 미치는가?

주요 결과

• 만약 $ \|\nabla f(w)\| \leq \tau = cG $ 이고 $ c \in (0, 1/32) $ 라면, 해 $ w $ 는 기하 오차 조건 정의의 두 번째 또는 세 번째 조건을 만족한다.
• 이차형식 $ \| (\lambda I - A)w \|^2 = \sum_{i=1}^d \alpha_i^2 (\lambda - \lambda_i)^2 $ 는 $ \tau^2 $ 이하로 경계되며, 이는 기울기 크기와 스펙트럼 이탈 간의 연결 고리를 제공한다.
• 마르코프 부등식을 적용하여 $ \lambda $ 에서 멀리 떨어진 고유값의 질량이 작음을 보여주며, 구간 $ I_t $ 는 $ \lambda $ 에서 $ 2^t \tau $ 이내의 고유값을 포괄한다.
• 확률 벡터 $ \alpha^2 $ 는 $ \lambda $ 에서 멀리 떨어진 고유값에 대한 $ \alpha_i^2 $ 질량이 제어됨을 보장하여 빠른 수렴을 이끈다.
• 고유벡터 $ u_1 $ 의 최적성에서 유도된 가정 $ \lambda \leq \lambda_1 $ 은 주요 고유값이 해의 행동을 지배함을 보장한다.
• 분석을 통해 작은 기울기 노름이 엄격한 안장 구조 하에서도 고차원 공간에서 빠른 수렴 속도를 보장함을 입증한다.