[논문 리뷰] Adaptive Newton Method for Empirical Risk Minimization to Statistical Accuracy

Aryan Mokhtari, Alejandro Ribeiro|arXiv (Cornell University)|2016. 05. 24.

Gaussian Processes and Bayesian Inference인용 수 11

한 줄 요약

이 논문은 각 단계에서 학습 데이터셋 크기를 1보다 큰 인자로 동적으로 증가시켜, 각 뉴턴 반복이 오직 한 번의 업데이트로 통계적 정확도를 확보하는 적응형 뉴턴 방법인 Ada Newton를 제안한다. 이 방법은 데이터셋을 약 두 번의 통과만으로도 최종 통계적 정확도에 도달하며, SAGA 및 SGD와 같은 1차 방법보다 뛰어난 성능을 보이며, 헤시안 역행렬을 O(log N)번만 역행렬화한다.

ABSTRACT

We consider empirical risk minimization for large-scale datasets. We introduce Ada Newton as an adaptive algorithm that uses Newton's method with adaptive sample sizes. The main idea of Ada Newton is to increase the size of the training set by a factor larger than one in a way that the minimization variable for the current training set is in the local neighborhood of the optimal argument of the next training set. This allows to exploit the quadratic convergence property of Newton's method and reach the statistical accuracy of each training set with only one iteration of Newton's method. We show theoretically and empirically that Ada Newton can double the size of the training set in each iteration to achieve the statistical accuracy of the full training set with about two passes over the dataset.

연구 동기 및 목표

• 대규모 경험적 위험 최소화(ERM)에서 최소한의 계산 비용으로 통계적 정확도를 달성하는 데 도전한다.
• 선형 검색에 의존하거나 이차 수렴 성질이 없고, 헤시안 역행렬화 비용이 높은 스 tochastic 제2차 방법의 한계를 극복한다.
• 선형 검색이 필요 없고 통계적 정확도를 초월해도 되는 조건에서 뉴턴의 이차 수렴 성질을 활용하는 알고리즘을 개발한다.
• 해결책이 다음 최적해에 가까워지도록 적응적으로 샘플 크기를 증가시켜 효율적인 최적화를 가능하게 한다.
• 표준 뉴턴 방법에 비해 데이터셋 통과 수를 최소화하고 헤시안 역행렬화 횟수를 줄여 근사 최적 수렴을 달성한다.

제안 방법

• 각 반복에서 초기 샘플 크기 m₀에서 시작해, α > 1 인자로 샘플 크기를 적응적으로 증가시킨다.
• 경험적 위험 Rₙ에 순서 Vₙ의 제곱형 정규화 항을 도입하여, 정규화된 문제의 통계적 정확도 Vₙ를 유지한다.
• 샘플 크기 m에 대한 현재 해 wₘ이 n = αm 인 더 큰 문제 Rₙ의 이차 수렴 영역 내에 있도록 보장한다.
• 각 단계에서 단일 뉴턴 반복을 단위 스텝 사이즈로 적용하여, 현재 샘플 크기의 통계적 정확도에 수렴함을 보장한다.
• 서브옵티멀리티 갭이 각 뉴턴 단계에서 제곱되는 사실을 활용하여, 샘플 크기를 극적으로 증가시킬 수 있다.
• 증가하는 샘플 크기의 헤시안만 역행렬화하므로, 총 헤시안 역행렬화 횟수를 logₐN 번으로 제한한다.

실험 결과

연구 질문

• RQ1 선형 검색이 필요 없고 전체 데이터셋을 통과하지 않아도 경험적 위험 최소화(ERM)에서 통계적 정확도를 달성할 수 있도록 뉴턴 방법을 어떻게 적응시킬 수 있는가?
• RQ2 다음 최적해에 대한 초기 해의 근접도를 제어함으로써, 증가하는 샘플 크기 전반에 걸쳐 뉴턴 방법의 이차 수렴 성질을 유지할 수 있는가?
• RQ3 어떤 샘플 크기 증가 인자 α가 약 두 번의 데이터셋 통과 안에 통계적 정확도에 도달하도록 보장하는가?
• RQ4 증가하는 샘플 크기 전반에 걸쳐, 순서 Vₙ의 적응형 정규화가 뉴턴 반복의 안정성과 수렴에 어떤 영향을 미치는가?
• RQ5 대규모 ERM에서 통계적 정확도를 확보하면서도, 헤시안 역행렬화 횟수를 O(log N)로 줄일 수 있는가?

주요 결과

• 프로틴 동형성 데이터셋에 대해 Ada Newton는 데이터셋을 약 2.4회 통과하여 O(1/N) 수준의 통계적 정확도를 달성하였으며, 이는 α = 2일 때 이론적 한계 α/(α−1) = 2와 매우 가까운 수준이다.
• 뉴턴 방법은 동일한 정확도에 도달하기 위해 7.5회 통과가 필요했고, SAGA는 10회 통과가 필요했으며, SGD는 25회 통과 후에도 O(1/N) 정확도에 도달하지 못했다.
• 실행 시간 측면에서 Ada Newton는 통계적 정확도에 도달하는 데 25초 미만이 소요되었으며, 동일한 수준의 정확도를 확보하는 데 62초가 소요된 SAGA보다 뛰어난 성능을 보였다.
• 샘플 크기가 전체 데이터셋 크기에 도달할 때, 해가 이차 수렴 영역에 들어서면서 Ada Newton의 수렴 속도가 이차적으로 변한다.
• Ada Newton는 초기 조건에 대해 강건하며, 표준 뉴턴 방법과 달리 비용이 많이 드는 웜업 단계를 피한다.
• 이론적 분석 결과, 각 뉴턴 단계에서 서브옵티멀리티 갭이 제곱되며, 이는 현재 해가 다음 문제의 이차 수렴 영역 내에 있을 때만 샘플 크기를 극적으로 증가시킬 수 있음을 보여준다.