[논문 리뷰] Stochastic L-BFGS Revisited: Improved Convergence Rates and Practical Acceleration Strategies

Renbo Zhao, William B. Haskell외 1명|arXiv (Cornell University)|2017. 01. 01.

Sparse and Compressive Sensing Techniques참고 문헌 9인용 수 2

한 줄 요약

이 논문은 개선된 이론적 수렴 속도와 계산 복잡도를 달성하는 새로운 수렴 분석 프레임워크를 도입하여 확률적 L-BFGS를 재검토한다. 또한 백트래킹 선색색색, 적응형 헤시안 근사, 분산 감소와 같은 실용적인 가속 전략을 제안하여 최신 기법들에 비해 대규모 로지스틱 회귀 및 리지 회귀 과제에서 뚜렷한 경험적 성능 향상을 보였다.

ABSTRACT

We revisit the stochastic limited-memory BFGS (L-BFGS) algorithm. By proposing a new framework for the convergence analysis, we prove improved convergence rates and computational complexities of the stochastic L-BFGS algorithms compared to previous works. In addition, we propose several practical acceleration strategies to speed up the empirical performance of such algorithms. We also provide theoretical analyses for most of the strategies. Experiments on large-scale logistic and ridge regression problems demonstrate that our proposed strategies yield significant improvements vis-a-vis competing state-of-the-art algorithms.

연구 동기 및 목표

• 확률적 L-BFGS 알고리즘의 이론적 수렴 속도와 계산 복잡도를 향상시키는 것.
• 이론적 보장을 유지하면서 경험적 성능을 향상시키는 실용적인 가속 전략을 개발하는 것.
• 각 제안된 가속 기법에 대한 이론적 분석을 제공하는 것.
• 대규모 로지스틱 회귀 및 리지 회귀 문제에서 제안된 방법을 경험적으로 검증하는 것.

제안 방법

• 수렴 속도와 계산 복잡도에 대한 더 낫게 조밀한 이론적 경계를 확립하기 위해 새로운 수렴 분석 프레임워크를 도입한다.
• 스텝 크기를 적응적으로 결정하기 위해 백트래킹 선색색을 통합하여 안정성과 수렴 속도를 향상시킨다.
• 확률적 환경에서 곡률 정보를 더 잘 포착하기 위해 적응형 헤시안 근사 전략을 제안한다.
• 노이즈가 많은 기울기 환경에서 업데이트를 안정화하고 수렴을 가속화하기 위해 분산 감소 기법을 적용한다.
• 각 가속 전략에 대한 이론적 분석을 제공하여 설계가 수렴 행동 향상과 어떻게 연결되는지 밝힌다.

실험 결과

연구 질문

• RQ1 새로운 수렴 분석 프레임워크가 확률적 L-BFGS의 이론적 수렴 속도를 향상시킬 수 있는가?
• RQ2 백트래킹 선색색 및 분산 감소와 같은 실용적인 가속 전략이 경험적 성능을 향상시키는가?
• RQ3 기존 최신 기법들과 비교했을 때 제안된 전략들은 수렴 속도와 해의 품질 측면에서 어떻게 다른가?
• RQ4 경험적 런타임과 수렴 속도를 크게 향상시키면서도 이론적 보장을 유지할 수 있는가?

주요 결과

• 기존의 확률적 L-BFGS 방법들에 비해 제안된 프레임워크는 향상된 이론적 수렴 속도와 낮은 계산 복잡도를 달성한다.
• 백트래킹 선색색은 수렴 안정성을 크게 향상시키고 필요한 반복 횟수를 감소시킨다.
• 적응형 헤시안 근사는 대규모 문제에서 목적 함수 값의 감소 속도를 빠르게 한다.
• 분산 감소 기법은 다양한 데이터셋에서 더 일관되고 가속된 수렴을 기여한다.
• 경험적 결과는 제안된 방법이 로지스틱 회귀 및 리지 회귀 과제에서 수렴 속도와 최종 해 품질 측면에서 경쟁 기법들을 능가함을 보여준다.