[논문 리뷰] Sub-Sampled Cubic Regularization for Non-Convex Optimization

Jonas Köhler|arXiv (Cornell University)|2017. 01. 01.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 44

한 줄 요약

이 논문은 비볼록 최적화를 위한 입체 정규화에 대한 부분 표본 추출을 적용하는 새로운 방법인 부분 표본 입체 정규화(Sub-sampled Cubic Regularization, SCR)를 제안한다. 이는 계산 비용을 크게 줄이며 강력한 전역 및 국소 수렴 보장을 가능하게 한다. 농도 불등식을 통해 SCR는 높은 확률로 정확한 헤시안 및 기울기 근사치를 보장하여, 딥러닝과 같은 비볼록 목표 함수를 가진 대규모 머신러닝 문제에 실용적으로 적용할 수 있다.

ABSTRACT

We consider the minimization of non-convex functions that typically arise in machine learning. Specifically, we focus our attention on a variant of trust region methods known as cubic regularization. This approach is particularly attractive because it escapes strict saddle points and it provides stronger convergence guarantees than first- and second-order as well as classical trust region methods. However, it suffers from a high computational complexity that makes it impractical for large-scale learning. Here, we propose a novel method that uses sub-sampling to lower this computational cost. By the use of concentration inequalities we provide a sampling scheme that gives sufficiently accurate gradient and Hessian approximations to retain the strong global and local convergence guarantees of cubically regularized methods. To the best of our knowledge this is the first work that gives global convergence guarantees for a sub-sampled variant of cubic regularization on non-convex functions. Furthermore, we provide experimental results supporting our theory.

연구 동기 및 목표

• 비볼록 최적화에서 전체 헤시안 계산으로 인한 높은 계산 비용을 해결한다.
• 이전에 부족했던 비볼록 함수에 대한 부분 표본 입체 정규화 변형의 이론적 보장을 제공한다.
• 입체 정규화의 강력한 수렴 성질(예: 엄격한 안장점 회피 및 전역 수렴)을 유지하면서 반복 계산 비용을 줄인다.
• 수렴 보장을 유지할 수 있도록 충분한 정확도를 보장하는 기울기 및 헤시안 근사치를 확보하는 표본 추출 전략을 개발한다.
• 실제 및 합성 데이터셋에서 실용적 효율성과 확장성을 입증하며, 속도와 정밀도 면에서 일阶 및 이阶 방법을 능가한다.

제안 방법

• 입체 정규화에서 전체 헤시안과 기울기를 근사하기 위한 부분 표본 추출 전략을 제안하여 계산 비용을 O(nd²)에서 O(ns²)로 감소시킨다. 여기서 s ≪ n이다.
• 농도 불등식을 사용하여, 근사 헤시안이 오차 조건 ∥(Bk − Hk)sk∥ ≤ C∥sk∥²를 높은 확률로 만족하도록 하는 표본 추출 전략을 유도한다.
• 부정확한 기울기를 고려한 수렴 분석을 확장하여, 부분 표본 추출 하에 입체 정규화의 전역 및 국소 수렴 보장이 유지됨을 증명한다.
• 명시적 헤시안 접근 없이도 효율적으로 입체 모델을 근사해 푸는 라ン츠 기반 케일로프 부분공간 방법을 활용한다.
• 초기에는 데이터의 5%로 시작하여 정확도와 속도를 균형 잡기 위해 적응적으로 증가시키는 동적 표본 크기 전략을 도입한다.
• 부분 표본 입체 모델을 신뢰 영역 프레임워크에 통합하고, 목적 함수의 충분한 감소를 보장하기 위해 백트래킹 선 탐색을 사용한다.

실험 결과

연구 질문

• RQ1 비볼록 함수에서 입체 정규화에 부분 표본 추출을 적용하여 계산 비용을 줄일 수 있을까? 전역 수렴 보장은 유지되는가?
• RQ2 부분 표본 헤시안과 기울기가 정확하게 어느 정도여야 정확한 입체 정규화의 수렴 성질을 유지할 수 있는가?
• RQ3 제안된 방법이 부분 표본 추출 하에 엄격한 안장점을 회피하고 이阶 정류점으로 수렴할 수 있는가?
• RQ4 속도와 정밀도 측면에서 부분 표본 입체 정규화의 성능은 일阶(SGD 등) 및 이阶(L-BFGS, 뉴턴 등) 방법과 비교해 어떻게 되는가?
• RQ5 이 방법은 로지스틱 회귀 및 다항 회귀와 같은 고차원 비볼록 목표 함수를 가진 대규모 머신러닝 문제에 효과적으로 확장될 수 있는가?

주요 결과

• 제안된 부분 표본 추출 전략은 근사 헤시안이 요구 조건 ∥(Bk − Hk)sk∥ ≤ C∥sk∥²를 높은 확률로 만족함을 보장하여 이론적 수렴 보장을 가능하게 한다.
• SCR는 O(ϵ⁻³/²) 반복 내에 ∥∇f(xk)∥ ≤ ϵ으로 전역 수렴을 달성하고, O(ϵ⁻³) 반복 내에 근사적인 비음성 곡률을 확보하며, 정확한 입체 정규화의 최악의 복잡도를 그대로 유지한다.
• HIGGS 데이터셋(1100만 개 샘플)에서 SCR은 표준 L-BFGS보다 3배 빠르고, SGD보다 5배 빠르게 주어진 최적화 수준에 도달했다.
• MNIST 및 CIFAR에서 다항 로지스틱 회귀 문제에서 SCR은 10시간 이내에 고정밀도 해(기울기 노름 < 1e-8)를 확보했으며, 최종 정밀도에서 BFGS 및 뉴턴 방법을 능가했다.
• 차원 수가 증가하더라도 SCR은 잘 확장된다: d = 10,000인 합성 데이터셋에서 SCR은 안정적인 수렴을 유지했고, 표준 뉴턴 방법은 메모리 및 계산 한계로 실패했다.
• 동적 표본 크기 전략(초기 5%)을 사용함으로써 SCR은 정확도와 속도를 균형 잡았으며, 전체 배치 방법보다 초기 진전 속도가 더 빠르면서도 수렴 성질을 유지했다.