[논문 리뷰] A Proximal Stochastic Quasi-Newton Algorithm

Luo Luo, Zihao Chen외 2명|arXiv (Cornell University)|2016. 01. 31.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 부드럽고 구성요소의 평균으로 이루어진 함수와 간단한 프록시 매핑을 가진 비부드러운 정규화항으로 구성된 복합 볼록 함수를 최소화하기 위한 프록시 스토하스틱 쿼아-뉴턴 알고리즘을 제안한다. 스케일링된 프록시 매핑을 통한 이차 곡률 정보 통합과 다단계 분산 감소 기법을 활용하여, 전체 기울기를 저장하지 않으면서도 선형 수렴를 달성하며, 부드러운 문제에 적용된 최첨단 스토하스틱 방법의 수렴 속도를 따라간다.

ABSTRACT

In this paper, we discuss the problem of minimizing the sum of two convex functions: a smooth function plus a non-smooth function. Further, the smooth part can be expressed by the average of a large number of smooth component functions, and the non-smooth part is equipped with a simple proximal mapping. We propose a proximal stochastic second-order method, which is efficient and scalable. It incorporates the Hessian in the smooth part of the function and exploits multistage scheme to reduce the variance of the stochastic gradient. We prove that our method can achieve linear rate of convergence.

연구 동기 및 목표

• 데이터 평균 함수와 비부드러운 정규화항의 합으로 이루어진 대규모 복합 볼록 최적화 문제를 해결하기 위해.
• 전체 기울기 계산을 피하면서도 이차 정보를 활용하는 스토하스틱 최적화 방법을 개발하기 위해.
• 비부드러운 정규화항이 존재하는 상황에서도 선형 수렴 속도를 달성하여, 분산 감소 스토하스틱 방법의 효율성을 쿼아-뉴턴 설정으로 확장하기 위해.
• 각 반복에서 전체 구성 요소 기울기를 저장할 필요 없이 미니배치 데이터만 저장하는 확장 가능한 알고리즘을 설계하기 위해.

제안 방법

• 알고리즘은 부드러운 구성 요소 함수의 헤시안에서 유도된 곡률 정보를 통합하기 위해 스케일링된 프록시 매핑을 사용한다.
• SVRG에 영감을 받은 다단계 기법을 적용하여 스토하스틱 기울기의 분산을 줄이며 수렴 안정성을 향상시킨다.
• 각 반복에서 구성 요소 함수의 미니배치를 사용하여 스토하스틱 헤시안 근사치를 계산함으로써 효율적인 이차 정보 업데이트를 가능하게 한다.
• 업데이트 규칙은 비부드러운 정규화항을 다루기 위해 쿼아-뉴턴 단계와 프록시 오퍼레이터를 조합하여 최적해로의 수렴을 보장한다.
• 주요 혁신은 양의 정부호 행렬 H에 의해 유도된 가중치 노름을 정의하는 프록시 매핑을 사용함으로써 수렴 성질을 향상시키는 것이다.
• 단계 간의 재귀적 분산 감소 메커니즘에 의존하여 전체 기울기를 저장하지 않도록 한다.

실험 결과

연구 질문

• RQ1 비부드러운 복합 최적화 문제에 대해 스토하스틱 쿼아-뉴턴 방법이 선형 수렴를 달성할 수 있는가?
• RQ2 비부드러운 정규화항이 존재하는 스토하스틱 환경에서 이차 정보를 효율적으로 통합할 수 있는가?
• RQ3 비부드러운 항이 존재하는 상황에서 분산 감소가 쿼아-뉴턴 방법에 효과적으로 적용될 수 있는가?
• RQ4 다단계 기법을 사용할 경우 프록시 스토하스틱 쿼아-뉴턴 방법의 수렴 속도는 얼마인가?
• RQ5 전체 기울기 저장을 피하면서도 제안된 방법이 확장성을 유지하는가?

주요 결과

• 제안된 알고리즘은 스토하스틱 방법이 부드러운 문제에 적용되었을 때 알려진 최상의 속도에 맞는 선형 수렴 속도를 달성한다.
• 알고리즘은 모든 구성 요소 함수의 전체 기울기를 저장할 필요가 없으며, 각 반복에서 미니배치 데이터만 사용한다.
• 스토하스틱 헤시안 근사치의 편향을 줄이기 위해 다단계 분산 감소 전략을 사용하여 수렴 속도를 증명한다.
• 강한 볼록성과 각 구성 요소 함수의 기울기의 리프시츠 연속성이라는 표준 가정 하에서 알고리즘의 수렴이 확립된다.
• 이론적 분석 결과, 기대값 기반의 최적성 갭이 단계 간에 기하급수적으로 감소하며, 수렴 인자 ρ < 1을 가진다.
• 비부드러운 정규화항이 존재하는 상황에서라도 프록시 업데이트와 곡률 인식 헤시안 근사치를 조합함으로써 선형 수렴를 달성한다.