[논문 리뷰] Structured Stochastic Quasi-Newton Methods for Large-Scale Optimization Problems

Minghan Yang, Dong Xu외 3명|arXiv (Cornell University)|2020. 06. 17.

Sparse and Compressive Sensing Techniques인용 수 3

한 줄 요약

이 논문은 기계학습에서 대규모 비볼록 최적화를 위한 구조적 확률적 쿼아뉴턴 방법을 제안하며, 부분 헤시안 정보와 니스트롬 기반의 낮은 질서 근사법을 활용하여 효율적인 쿼아뉴턴 방향 계산을 가능하게 한다. 기대값 기준으로 전역 수렴과 국소 초선형 수렴을 달성하며, 로지스틱 회귀, 오토에인코더 및 딥러닝 작업에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we consider large-scale finite-sum nonconvex problems arising from machine learning. Since the Hessian is often a summation of a relative cheap and accessible part and an expensive or even inaccessible part, a stochastic quasi-Newton matrix is constructed using partial Hessian information as much as possible. By further exploiting the low-rank structures based on the Nystrom approximation, the computation of the quasi-Newton direction is affordable. To make full use of the gradient estimation, we also develop an extra-step strategy for this framework. Global convergence to stationary point in expectation and local suplinear convergence rate are established under some mild assumptions. Numerical experiments on logistic regression, deep autoencoder networks and deep learning problems show that the efficiency of our proposed method is at least comparable with the state-of-the-art methods.

연구 동기 및 목표

• 기계학습에서 대규모 비볼록 최적화 문제의 헤시안 계산에 따른 높은 계산 비용 문제를 해결한다.
• 전체 헤시안 계산을 피하기 위해 접근 가능한 부분 헤시안 정보를 활용하는 확률적 쿼아뉴턴 프레임워크를 개발한다.
• 니스트롬 근사법을 통해 헤시안의 낮은 질서 구조를 활용하여 쿼아뉴턴 방향 계산의 가능성을 높인다.
• 추가 단계 전략을 통해 기울기 활용도를 향상시켜 수렴성과 효율성을 향상시킨다.
• 약한 가정 하에 전역 수렴을 정(stationary point)으로 보장하고, 국소 초선형 수렴 속도를 확립한다.

제안 방법

• 전체 헤시안 계산을 피하기 위해 저비용이고 접근 가능한 헤시안의 일부만을 사용하여 확률적 쿼아뉴턴 헤시안 근사치를 구성한다.
• 헤시안의 낮은 질서 구조를 활용하기 위해 니스트롬 근사법을 적용하여 행렬 역행렬과 방향 계산의 비용을 크게 감소시킨다.
• 기울기 추정 향상과 수렴 성능 향상을 위해 추가 단계 전략을 통합한다.
• 부분 헤시안 데이터와 낮은 질서 보정을 조합한 쿼아뉴턴 업데이트 규칙을 설계하여 더 정확한 탐색 방향 확보.
• 니스트롬 근사법에서 유도된 저차원 부분공간에 국한된 행렬 연산을 통해 계산 효율성을 확보한다.
• 약한 가정 하에 확률적 헤시안 근사치와 업데이트 메커니즘의 철저한 설계를 통해 수렴 보장을 유지한다.

실험 결과

연구 질문

• RQ1 접근 가능한 부분 헤시안 정보만을 사용하여 대규모 비볼록 문제를 효율적으로 다룰 수 있는 확률적 쿼아뉴턴 방법을 설계할 수 있는가?
• RQ2 니스트롬 방법과 같은 낮은 질서 근사법은 어떻게 확률적 쿼아뉴턴 프레임워크에 효과적으로 통합되어 계산 비용을 줄일 수 있는가?
• RQ3 제안된 추가 단계 전략은 확률적 쿼아뉴턴 방법의 수렴성과 기울기 활용도를 향상시키는가?
• RQ4 약한 가정 하에 제안된 방법의 전역 수렴성과 국소 초선형 수렴 속도에 대해 어떤 수렴 보장을 확보할 수 있는가?
• RQ5 실제 기계학습 작업에서 최신 기술 최적화 알고리즘과 비교해 볼 때, 이 방법은 어떻게 성능을 내는가?

주요 결과

• 약한 가정 하에 제안된 방법은 기대값 기준으로 정점에 전역 수렴을 달성한다.
• 국소 수렴은 초선형 속도를 보이며, 최적해 근처에서의 빠른 향상이 가능함을 시사한다.
• 니스트롬 근사법을 통한 낮은 질서 구조 활용으로 계산 효율성이 유지된다.
• 로지스틱 회귀, 딥 오토에인코더 및 딥러닝 모델에 대한 수치 실험 결과, 최신 기술과 비교해 유사한 성능을 보였다.
• 추가 단계 전략은 기울기 활용도를 향상시켜 수렴 성능 향상에 기여한다.
• 접근 가능한 헤시안의 일부와 낮은 질서 근사법을 사용하여 계산 비용과 정확도 사이의 효과적인 균형을 이루었다.