[논문 리뷰] Stochastic quasi-Newton with line-search regularization

Adrian Wills, Thomas B. Schön|arXiv (Cornell University)|2019. 09. 03.

Advanced Numerical Analysis Techniques참고 문헌 46인용 수 7

한 줄 요약

이 논문은 비볼록 스토하스틱 최적화에서 수렴성을 향상시키기 위해 가우시안 프로세스를 통한 온라인 헤시안 근사와 스토하스틱 선 탐색 절차를 통합한 확률적 쿼아-뉴턴 알고리즘을 제안한다. 이 방법은 비선형 시스템 식별에서 노이즈가 있는 기울기 정보를 효과적으로 처리하며, 기존 방법들과 비교해 상태공간 모델과 MIMO 하머스타인-위너 모델에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper we present a novel quasi-Newton algorithm for use in stochastic optimisation. Quasi-Newton methods have had an enormous impact on deterministic optimisation problems because they afford rapid convergence and computationally attractive algorithms. In essence, this is achieved by learning the second-order (Hessian) information based on observing first-order gradients. We extend these ideas to the stochastic setting by employing a highly flexible model for the Hessian and infer its value based on observing noisy gradients. In addition, we propose a stochastic counterpart to standard line-search procedures and demonstrate the utility of this combination on maximum likelihood identification for general nonlinear state space models.

연구 동기 및 목표

• 노이즈가 많고 고차원적인 최적화 환경에서 이차 정보를 활용하는 스토하스틱 쿼아-뉴턴 방법을 개발하는 것.
• 스토하스틱 최적화에서 효과적인 스토하스틱 선 탐색 방법의 부재를 보완하기 위해 스토하스틱 아르미조 유형의 선 탐색을 제안하는 것.
• 이용할 수 없는 우도를 갖는 비선형 상태공간 모델에서 최대우도추정을 효율적으로 수행할 수 있도록 하는 것.
• 노이즈가 있는 기울기에서 온라인으로 헤시안 정보를 학습하는 강력하고 적응 가능한 최적화 프레임워크를 제공하는 것.
• 어려운 비선형 시스템 식별 문제, 특히 간섭계와 MIMO 하머스타인-위너 시스템에서 이 방법의 효과성을 입증하는 것.

제안 방법

• 헤시안은 가우시안 프로세스를 사용해 모델링되어, 노이즈가 있는 기울기 관측치로부터 온라인 베이지안 업데이트를 통해 이차 정보를 지속적으로 갱신할 수 있다.
• 초기 반복 단계에서 기대값을 기준으로 아르미조 조건을 만족하는 스토하스틱 선 탐색 절차가 개발되었으며, 문제 스케일링과 노이즈에 적응할 수 있다.
• 알고리즘은 하이브리드 스텝 길이 전략을 사용한다: 초기 단계에서는 스토하스틱 아르미조 조건을 적용하고, 헤시안 추정치가 안정화되면 결정론적 스케줄로 전환한다.
• 상태공간 모델에서 비편향된 우도와 기울기 추정을 위해 순차적 몬테카를로(SMC) 방법과 통합된다.
• 기울기 차이를 기반으로 한 저랭크 업데이트 기법을 사용해 헤시안 근사치를 반복적으로 갱신함으로써 계산 효율성을 확보한다.
• 노이즈가 있는 헤시안 관측치를 처리할 수 있도록 확장되었으며, 스튜던트-t 프로세스와 같은 대체 스토하스틱 과정을 통해 비정규 분포 노이즈에 적응할 수 있다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 기울기에서 수렴성을 향상시키기 위해 온라인 헤시안 학습을 통합한 스토하스틱 쿼아-뉴턴 방법이 비볼록 스토하스틱 최적화에서 효과적인가?
• RQ2 노이즈가 많고 스케일링이 잘 되지 않은 문제에 적응하기 위해 스토하스틱 선 탐색 절차를 어떻게 설계할 수 있는가?
• RQ3 제안된 방법이 비선형 시스템 식별 과제에서 기존의 SMC 기반 EM 및 쿼아-뉴턴 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 제한된 노이즈가 있는 기울기 데이터에서 스토하스틱 환경에서 헤시안을 가우시안 프로세스로 모델링할 경우 어떤 영향을 미치는가?
• RQ5 스토하스틱 선 탐색에서 결정론적 선 탐색으로의 전환은 수렴성과 안정성에 어떤 영향을 미치는가?

주요 결과

• QNGP 알고리즘은 100회의 몬테카를로 시뮬레이션 동안 정확한 매개변수 추정을 달성했으며, 평균 추정치는 진짜 값에 가까웠고 표준편차가 매우 낮았다.
• 간섭계 문제에서 추정된 매개변수 α₀는 −0.0035 ± 0.0026(진실: 0), α₁는 0.992 ± 0.0034(진실: 1), β₀는 −0.0001 ± 0.0027(진실: 0), β₁는 1.01 ± 0.0042(진실: 1), γ는 0.42 ± 0.01(진실: 0.4), σ는 0.14 ± 0.0052(진실: 0.18)였다.
• MIMO 하머스타인-위너 시스템에서 QNGP 방법은 최첨단 PSEM 방법과 유사한 보드 맵 허브를 생성했으며, 단지 정방향 필터링만 필요로 했다.
• 계산 효율성 측면에서 QNGP 방법은 PSEM 방법을 능가했으며, 반복마다 O(M) 복잡도를 요구하는 데 반해, 스무서치 기반 접근법은 O(M²) 복잡도를 가졌다.
• 스토하스틱 선 탐색 메커니즘이 문제 스케일링이 잘 되지 않은 상황에서도 수렴성을 보장했고, 결정론적 스케줄로의 전환을 통해 안정성을 향상시켰다.
• 이 방법은 합성 및 실세계 시스템 식별 문제에서 강력한 경험적 성능을 보였으며, 복잡한 고차원 환경에서의 실용성을 입증했다.