[논문 리뷰] An efficient Averaged Stochastic Gauss-Newton algorithm for estimating parameters of non linear regressions models

Peggy Cénac, Antoine Godichon‐Baggioni외 1명|arXiv (Cornell University)|2020. 06. 23.

Gaussian Processes and Bayesian Inference참고 문헌 30인용 수 9

한 줄 요약

이 논문은 순차적이고 고용량의 데이터를 갖는 비선형 회귀 모델에서 효율적인 매개변수 추정을 위한 평균화된 스토하스틱 가우스-뉴턴(ASGN) 알고리즘을 제안한다. 가우스-뉴턴 방법을 온라인 업데이트 및 평균화와 함께 적용함으로써, 기존의 스토하스틱 경사 하강법이 헤시안 고유값 스케일의 불일치로 실패하는 불량조건 문제 환경에서도 점근적 효율성과 향상된 수렴성을 달성한다.

ABSTRACT

Non linear regression models are a standard tool for modeling real phenomena, with several applications in machine learning, ecology, econometry... Estimating the parameters of the model has garnered a lot of attention during many years. We focus here on a recursive method for estimating parameters of non linear regressions. Indeed, these kinds of methods, whose most famous are probably the stochastic gradient algorithm and its averaged version, enable to deal efficiently with massive data arriving sequentially. Nevertheless, they can be, in practice, very sensitive to the case where the eigen-values of the Hessian of the functional we would like to minimize are at different scales. To avoid this problem, we first introduce an online Stochastic Gauss-Newton algorithm. In order to improve the estimates behavior in case of bad initialization, we also introduce a new Averaged Stochastic Gauss-Newton algorithm and prove its asymptotic efficiency.

연구 동기 및 목표

• 비선형 회귀 매개변수 추정에서 헤시안 고유값 스케일의 변동에 민감한 스토하스틱 경사 하강법의 문제를 해결하기 위해.
• 거대한 순차적 도착 데이터 스트림에 적합한 재귀적이고 온라인 알고리즘을 개발하기 위해.
• 평균화된 스토하스틱 가우스-뉴턴 방법을 도입하여 악한 초기화 조건 하에서도 수렴 성질을 향상시키기 위해.
• 일반적인 정규성 조건과 모멘트 조건 하에서 제안된 알고리즘의 거의 확실한 점근적 효율성과 수렴 속도를 확립하기 위해.

제안 방법

• 셰리만-모리슨 공식을 이용한 재귀적 행렬 역행렬 계산을 활용해 헤시안 역행렬 근사치를 업데이트하는 온라인 스토하스틱 가우스-뉴턴 알고리즘을 제안한다.
• 시간에 따라 변화하는 스텝 사이즈 시퀀스를 도입하여 탐색과 수렴의 균형을 맞추며, 시간이 지남에 따라 매개변수 추정치를 평균화하는 새로운 평균화된 스토하스틱 가우스-뉴턴(ASGN) 알고리즘을 제안한다.
• 탐색과 수렴을 균형 있게 유지하기 위해 특정 감쇠율을 갖는 시간에 따라 변화하는 스텝 사이즈 시퀀스를 사용한다.
• 추정 오차의 행동을 분석하기 위해 마팅게일 차분 수열과 조건부 기대값 기법을 활용한다.
• 오차 항의 거의 확실한 수렴성을 증명하기 위해 로빈스-시그문트 스토하스틱 근사 정리를 적용한다.
• 시간에 따라 변화하는 가중치를 갖는 평균화된 마팅게일 수열과 점진적으로 감쇠하는 분산을 고려한 새로운 정리로 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 순차적 데이터를 갖는 비선형 회귀 모델을 다룰 수 있고, 불량조건 헤시안 행렬에 대해 강인한 스토하스틱 가우스-뉴턴 방법을 설계할 수 있는가?
• RQ2 스토하스틱 가우스-뉴턴 프레임워크에서 매개변수 추정치를 평균화하면 수렴성 향상과 초기화 민감도 감소에 어떤 기여를 하는가?
• RQ3 일반적인 정규성 조건과 모멘트 가정 하에서 매개변수 추정치의 거의 확실한 수렴 속도는 무엇인가?
• RQ4 모든 이력 데이터를 저장하지 않더라도 배치 방법과 유사한 점근적 효율성을 달성할 수 있는가?

주요 결과

• 표준 정규성 조건과 모멘트 조건 하에서 평균화된 스토하스틱 가우스-뉴턴(ASGN) 알고리즘이 매개변수 추정치가 참값으로 거의 확실하게 수렴함을 입증하였다.
• 특히 헤시안 고유값 스케일이 크게 다를 경우, 기존의 스토하스틱 경사 하강법에 비해 악한 초기화 조건에 대해 더 강인한 성능을 보였다.
• 추정 오차가 거의 확실하게 $ \mathcal{O}(n^{-1}v_n^{-2} \ln n) $ 이내로 유계임을 보였으며, 이는 스텝 사이즈 시퀀스의 감쇠율과 헤시안 조건수에 따라 수렴 속도가 달라진다.
• 이론적 분석을 통해 점근적 효율성을 확인하였으며, 이는 정규성 조건 하에서 극한에서 크래머-라오 하한을 달성함을 의미한다.
• 모든 이력 데이터를 저장하지 않고도, 헤시안 역행렬 근사치와 매개변수 추정치만 재귀적으로 업데이트함으로써 계산 효율성을 유지한다.
• 헤시안이 양호한 조건을 갖는 경우 수렴 속도가 향상되며, 평균화 메커니즘이 기울기 추정치의 노이즈를 효과적으로 억제한다.