[논문 리뷰] DynaNewton - Accelerating Newton's Method for Machine Learning

Hadi Daneshmand, Aurélien Lucchi외 1명|arXiv (Cornell University)|2016. 05. 20.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 4

한 줄 요약

DynaNewton는 연속 경로를 통해 샘플 크기와 정규화 강도를 동적으로 조정함으로써 뉴턴 방법의 수렴 속도를 높인다. 이로 인해 각 뉴턴 반복이 이차 수렴 영역 내에서 시작되며, 초선형 수렴과 빠른 속도 향상을 이룬다. 이는 다양한 데이터셋에서 일반적으로 2개 이하의 유효 에포크 내에 거의 최적의 해에 도달하게 하며, 빠른 수렴 성능을 보인다.

ABSTRACT

Newton's method is a fundamental technique in optimization with quadratic convergence within a neighborhood around the optimum. However reaching this neighborhood is often slow and dominates the computational costs. We exploit two properties specific to empirical risk minimization problems to accelerate Newton's method, namely, subsampling training data and increasing strong convexity through regularization. We propose a novel continuation method, where we define a family of objectives over increasing sample sizes and with decreasing regularization strength. Solutions on this path are tracked such that the minimizer of the previous objective is guaranteed to be within the quadratic convergence region of the next objective to be optimized. Thereby every Newton iteration is guaranteed to achieve super-linear contractions with regard to the chosen objective, which becomes a moving target. We provide a theoretical analysis that motivates our algorithm, called DynaNewton, and characterizes its speed of convergence. Experiments on a wide range of data sets and problems consistently confirm the predicted computational savings.

연구 동기 및 목표

• 뉴턴 방법의 느린 초반 단계를 해결한다. 이 단계에서는 이차 수렴 영역에 도달하기 전까지 대부분의 계산이 소요된다.
• 배치 뉴턴 방법의 높은 반복 비용을 해결하기 위해 학습 데이터를 부분 샘플링하고 시간이 지남에 따라 정규화를 감소시킨다.
• 진행적으로 더 큰 샘플과 더 약한 정규화를 추적하는 연속 방법을 개발한다. 이를 통해 각 단계가 다음 문제의 이차 수렴 영역 내에서 시작되도록 보장한다.
• 이전 해를 다음 하위문제의 시작점으로 활용함으로써 악한 초기화에 대한 강건성을 향상시킨다.
• 실증적 및 기대 위험 최소화에서 수렴 속도를 향상시키며, 계산적 절감 효과에 대한 이론적 및 실증적 검증을 수행한다.

제안 방법

• 샘플 크기 $ n $ 이며 $ \nu \propto 1/n $ 인 $ f^{\text{S}}_{\nu}(\mathbf{x}) = \frac{1}{|\mathcal{S}|} \sum_{\mathbf{z} \in \mathcal{S}} \phi^{\mathbf{z}}(\mathbf{x}) + \nu \Omega(\mathbf{x}) $ 형태의 목적함수 가족을 정의한다.
• 동적 연속 경로를 사용한다: 샘플 크기 $ n $ 을 증가시키고 정규화 $ \nu $ 를 제어적으로 감소시켜, 한 하위문제의 해가 다음 문제의 이차 수렴 영역 내에 있도록 보장한다.
• 증분 요소 $ \alpha $ 를 결정하기 위한 데이터 적응 전략을 도입한다. 이는 샘플 크기 증가 및 정규화 감소의 비율을 제어한다.
• 이전 하위문제의 해를 다음 뉴턴 반복의 초기점으로 활용함으로써 수렴 속도를 빠르게 한다.
• 정확한 헤시안 계산을 넘어서, L-BFGS와 같은 준뉴턴 방법과 통합하기 위해 동일한 연속 프레임워크를 적용한다.
• 이론적 분석을 통해 각 후속 문제의 이차 수렴 구 내에 초기점을 유지함으로써, 뉴턴 단계당 초선형 수축이 보장된다.

실험 결과

연구 질문

• RQ1 대규모 머신러닝에서 뉴턴 방법의 수렴 속도를 높이기 위해 동적 부분 샘플링과 적응형 정규화를 사용할 수 있는가?
• RQ2 샘플 크기를 증가시키고 정규화를 감소시키는 연속 경로가 각 뉴턴 단계가 다음 문제의 이차 수렴 영역 내에서 시작됨을 보장하는가?
• RQ3 실증적 및 기대 위험 최소화에서 DynaNewton는 표준 뉴턴 방법, SAGA, L-BFGS와 비교해 수렴 속도가 어떻게 다른가?
• RQ4 표준 뉴턴 방법에 비해 악한 초기화에 대해 DynaNewton는 얼마나 강건한가?
• RQ5 연속 프레임워크는 정확한 헤시안 방법을 초월해 L-BFGS와 같은 준뉴턴 방법으로 확장될 수 있는가? 이 경우 수렴 속도와 정확도는 유지되는가?

주요 결과

• DynaNewton는 각 뉴턴 반복이 다음 하위문제의 이차 수렴 영역 내에서 시작되도록 보장함으로써 초선형 수렴을 달성한다.
• 모든 테스트 데이터셋(a9a, w8a, covtype, susy)에서 DynaNewton는 2개 이하의 유효 에포크 내에 거의 최적의 해에 도달하며, 표준 뉴턴 방법에 비해 뚜렷한 성능 향상을 보였다.
• 동적으로 샘플 크기와 정규화를 조정함으로써 계산 비용을 줄였으며, 실증 결과에서는 특히 기대 위험 최소화에서 뚜렷한 속도 향상이 관찰되었다.
• 증분 요소 $ \alpha $ 를 선택하기 위한 데이터 적응 전략은 안정적인 수렴을 보장하며, 고정된 작은 $ \alpha $ 값에서 발생하는 발산을 피한다.
• DynaNewton는 악한 초기화에 강건하다. 표준 뉴턴 방법과 달리, 먼 초기값에서 수렴 속도가 크게 저하되지 않는다.
• 실증 결과는 연속 방법이 L-BFGS로도 확장 가능함을 확인하였으며, 정확한 헤시안 방법을 초월한 광범위한 적용 가능성을 시사한다. 다만 준뉴턴 변형에 대한 이론적 보장은 아직 미해결이다.