[논문 리뷰] A Stochastic Quasi-Newton Method for Large-Scale Nonconvex Optimization with Applications

Honglin Chen, Huanran Wu외 2명|arXiv (Cornell University)|2019. 12. 10.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 5

한 줄 요약

이 논문은 대규모 비볼록 최적화를 위한 새로운 스토하스틱 감쇠 및 정규화된 한정 메모리 BFGS(Sd-REG-LBFGS) 방법을 제안한다. 이 방법은 정규화와 감쇠 파라미터를 통해 양의 정부호성과 안정성을 확보하고, 악조건 문제를 완화함으로써 수치적 안정성과 수렴성을 향상시킨다. 이는 소규모 배치 크기에서 SdLBFGS보다 뛰어난 성능을 보이며, 로지스틱 회귀 및 베이지안 로지스틱 회귀 과제에서 배치 크기와 메모리 크기의 변동에 대해 더 뛰어난 강건성을 보인다.

ABSTRACT

This paper proposes a novel stochastic version of damped and regularized BFGS method for addressing the above problems.

연구 동기 및 목표

• 비볼록 문제에 대한 스토하스틱 준뉴턴 방법에서 악조건 문제와 양의 정부호성 상실 문제를 해결하기 위해.
• 노이즈가 있는 헤시안 근사 하에서 대규모 비볼록 최적화에서 스토하스틱 LBFGS의 강건성과 수렴성을 향상시키기 위해.
• 간격을 두고 평균화된 반복값을 통해 곡률 정보를 업데이트하여 계산 비용을 줄이면서도 정확도를 유지하기 위해.
• 정규화 및 감쇠 파라미터 전략을 통해 소표본 크기에서의 수치적 안정성을 향상시키기 위해.
• 합성 및 실세계 데이터셋을 사용하여 로지스틱 회귀 및 베이지안 로지스틱 회귀 과제에서 성능을 평가하기 위해.

제안 방법

• 헤시안 근사가 항상 양의 정부호성을 유지하고 특이성을 피하기 위해 감쇠 및 정규화된 BFGS 업데이트를 제안한다.
• 보정 쌍의 곱이 양수임을 보장하기 위해 감쇠 파라미터를 도입하여 수치적 안정성을 향상시킨다.
• 간격을 두고 평균화된 반복값을 사용하여 곡률 정보를 업데이트함으로써 스토하스틱 LBFGS에서 계산 비용을 절감한다.
• 완전한 헤시안 계산을 피하고 노이즈를 줄이기 위해 부분표본 헤시안-벡터 곱을 사용하여 곡률을 추정한다.
• 특히 소표본 크기에서 악조건 문제를 방지하기 위해 BFGS 업데이트에 정규화를 적용한다.
• 대규모 문제에서의 확장성과 저장 요구량 감소를 위해 한정 메모리 프레임워크를 채택한다.

실험 결과

연구 질문

• RQ1 정규화 및 감쇠된 BFGS 업데이트는 비볼록 최적화에서 스토하스틱 준뉴턴 방법의 수렴성과 안정성을 향상시킬 수 있는가?
• RQ2 악조건이 더 두드러지는 소규모 배치 크기에서 제안된 방법은 어떻게 성능을 보이는가?
• RQ3 곡률 업데이트에 평균화된 반복값을 사용하면 수렴 품질을 훼손하지 않고 계산 비용을 줄일 수 있는가?
• RQ4 배치 크기와 메모리 크기의 변동에 대해 제안된 방법은 SdLBFGS에 비해 얼마나 강건한가?
• RQ5 이전의 스토하스틱 준뉴턴 접근법에 비해 로지스틱 및 베이지안 로지스틱 회귀 문제에서 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 Sd-REG-LBFGS 방법은 SdLBFGS보다 유의미하게 높은 분류 정확도를 달성하며, 부호 검정에서 p값의 로그가 -15.05이고, 윌코크슨 검정에서 -9.40로 통계적으로 유의미함(p < 0.05)을 나타낸다.
• 소표본 크기에서는 정규화 및 감쇠로 인한 수치적 안정성 향상 덕분에 제안된 방법이 SdLBFGS를 능가한다.
• 특히 소규모 배치 시나리오에서 SdLBFGS보다 더 강건한 성능을 보이며, 배치 크기와 메모리 크기의 변동에 대한 저항력이 뛰어나다.
• 합성 및 실세계 데이터셋에서 평균 정확도가 S1 기준 95.14%, S2 기준 95.25%를 기록하며, SdLBFGS 및 기타 기준 모델을 크게 앞서간다.
• 평균화된 반복값과 정규화된 업데이트 덕분에 곡률 정보가 최소한일 때에도 높은 성능을 유지한다.
• 결과는 정규화와 감쇠가 비볼록 스토하스틱 최적화에서 악조건 문제를 완화하고 수렴성을 향상시키는 데 효과적이라는 것을 입증한다.