[논문 리뷰] Nestrov's Acceleration For Second Order Method

Haishan Ye, Zhihua Zhang|arXiv (Cornell University)|2017. 05. 19.

Stochastic Gradient Optimization Techniques참고 문헌 2인용 수 3

한 줄 요약

이 논문은 Nesterov의 가속 기법을 근사 뉴턴 방법에 적용하여 가속화된 정규화된 부분 샘플링 뉴턴 방법을 제안한다. 이는 수렴 속도와 성능을 크게 향상시킨다. 이론적 분석은 1차 방법과 유사한 가속 효과를 확인하였고, 실험 결과 기준 및 최첨단 알고리즘보다 뛰어난 경험적 성능을 보였다.

ABSTRACT

Optimization plays a key role in machine learning. Recently, stochastic second-order methods have attracted much attention due to their low computational cost in each iteration. However, these algorithms might perform poorly especially if it is hard to approximate the Hessian well and efficiently. As far as we know, there is no effective way to handle this problem. In this paper, we resort to Nestrov's acceleration technique to improve the convergence performance of a class of second-order methods called approximate Newton. We give a theoretical analysis that Nestrov's acceleration technique can improve the convergence performance for approximate Newton just like for first-order methods. We accordingly propose an accelerated regularized sub-sampled Newton. Our accelerated algorithm performs much better than the original regularized sub-sampled Newton in experiments, which validates our theory empirically. Besides, the accelerated regularized sub-sampled Newton has good performance comparable to or even better than state-of-art algorithms.

연구 동기 및 목표

• 헤시안 근사가 정확하지 않을 때 확률적 2차 방법의 열악한 성능을 해결하기 위해.
• 1차 방법에서 효과적인 Nesterov의 가속 기법이 근사 뉴턴과 같은 2차 방법에도 향상 효과를 줄 수 있는지 탐색하기 위해.
• 수렴을 향상시키기 위해 이론적으로 타당한 정규화된 부분 샘플링 뉴턴의 가속 버전을 개발하기 위해.

제안 방법

• 근사 뉴턴 방법에 Nesterov의 가속 프레임워크를 적용하여 외삽을 통한 운동량 유사 업데이트를 도입한다.
• 나쁜 조건의 설정에서 최적화를 안정화하기 위해 부분 샘플링 헤시안 근사에 정규화를 통합한다.
• 두 루프 업데이트 방식을 사용한다: 하나는 외삽된 탐색 점을 위한 것이고, 다른 하나는 헤시안 기반 내림걸음 단계를 위한 것이다.
• 부분 샘플링 헤시안 업데이트에 Nesterov의 최적 가속 전략을 적용하여 수렴 속도 향상을 보장한다.

실험 결과

연구 질문

• RQ1 Nesterov의 가속 기법이 1차 방법에서의 성공처럼 근사 뉴턴 방법의 수렴을 향상시킬 수 있는가?
• RQ2 실제로 가속된 정규화된 부분 샘플링 뉴턴은 원본 정규화된 부분 샘플링 뉴턴보다 어떻게 성능을 냈는가?
• RQ3 제안된 방법은 최첨단 최적화 알고리즘과 비교해 유사하거나 더 뛰어난 성능을 달성하는가?

주요 결과

• 제안된 가속된 정규화된 부분 샘플링 뉴턴은 모든 실험에서 원본 정규화된 부분 샘플링 뉴턴보다 더 빠른 수렴을 달성한다.
• 이론적 분석은 Nesterov의 가속이 근사 뉴턴 방법의 수렴 속도를 향상시킨다는 것을 확인하였으며, 1차 설정과 유사하게 작용한다.
• 경험적 결과는 가속된 방법이 여러 벤치마크 데이터셋에서 최첨단 알고리즘보다 뛰어나거나 동등한 성능을 보임을 보여준다.
• 가속 메커니즘 덕분에 헤시안 근사가 어려운 상황에서도 강인함을 보였다.