[논문 리뷰] A Stochastic Levenberg-Marquardt Method Using Random Models with Application to Data Assimilation

El Houcine Bergou, Youssef Diouane외 2명|arXiv (Cornell University)|2018. 07. 05.

Stochastic Gradient Optimization Techniques참고 문헌 30인용 수 8

한 줄 요약

이 논문은 확률 기반 정확도 기준과 특정 정규화 스케일링을 사용하여 노이즈가 있는 목적 함수 값과 무작위 모델을 모두 처리하는 확률적 Levenberg-Marquardt 알고리즘을 제안한다. 이는 확률적으로 1에 수렴하는 일阶 정류점으로의 전역 수렴성을 확립하고 기대 반복 횟수에 대한 경계를 제공하여 앙상블 기반 확률적 모델을 통한 자료 융합에 있어 강건한 응용을 가능하게 한다.

ABSTRACT

Globally convergent variants of the Gauss-Newton algorithm are often the preferred methods to tackle nonlinear least squares problems. Among such frameworks, the Levenberg-Marquardt and the trust-region methods are two well-established paradigms, and their similarities have often enabled to derive similar analyses of these schemes. Both algorithms have indeed been successfully studied when the Gauss-Newton model is replaced by a random model, only accurate with a given probability. Meanwhile, problems where even the objective value is subject to noise have gained interest, driven by the need for efficient methods in fields such as data assimilation. In this paper, we describe a stochastic Levenberg-Marquardt algorithm that can handle noisy objective function values as well as random models, provided sufficient accuracy is achieved in probability. Our method relies on a specific scaling of the regularization parameter, which clarifies further the correspondences between the two classes of methods, and allows us to leverage existing theory for trust-region alorithms. Provided the probability of accurate function estimates and models is sufficiently large, we establish that the proposed algorithm converges globally to a first-order stationary point of the objective function with probability one. Furthermore, we derive a bound the expected number of iterations needed to reach an approximate stationary point. We finally describe an application of our method to variational data assimilation, where stochastic models are computed by the so-called ensemble methods.

연구 동기 및 목표

• 노이즈가 있는 목적 함수 값과 무작위 모델을 수용할 수 있는 전역 수렴성 보장이 되는 Levenberg-Marquardt 방법을 개발한다.
• 확률적 설정 하에서 Levenberg-Marquardt 및 신뢰영역 방법의 분석을 통합한다.
• 모델과 함수 추정치에 대한 확률적 정확도 가정 하에 수렴 보장을 수립한다.
• 근사 정류점에 도달하기 위한 기대 반복 횟수에 대한 경계를 유도한다.
• 앙상블 기반 확률적 모델을 사용한 변분 자료 융합에 이 방법을 적용한다.

제안 방법

• 모델 정확도가 주어진 확률로 보장되는 가우스-뉴턴 유형의 확률적 모델을 사용한다.
• 확률적 환경 하에서 신뢰영역 이론이 Levenberg-Marquardt 프레임워크로 전이될 수 있도록 하기 위해 정규화 파라미터의 새로운 스케일링 기법을 도입한다.
• 모델 정확도와 목적 함수 추정치가 높은 확률으로 충분히 정확할 조건 하에서 수렴성을 분석한다.
• 기존의 신뢰영역 수렴 이론을 활용하기 위해 확률적 Levenberg-Marquardt 방식을 유사한 신뢰영역 설정으로 매핑한다.
• 실제 구현을 가능하게 하기 위해 자료 융합 맥락에서 앙상블 방법을 사용해 확률적 모델을 생성한다.
• 확률적 모델과 목적 함수 추정치의 품질에 따라 정규화 파라미터를 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 목적 함수와 모델 둘 다 무작위 노이즈에 노출된 경우, Levenberg-Marquardt 방법이 전역 수렴 가능할 수 있는가?
• RQ2 확률적 모델 정확도 조건 하에서 수렴을 보장하기 위해 확률적 Levenberg-Marquardt 방법에서 정규화 파라미터는 어떻게 스케일링되어야 하는가?
• RQ3 확률적 조건 하에서 근사 일阶 정류점에 도달하기 위해 필요한 기대 반복 횟수는 얼마인가?
• RQ4 제안된 방법은 어떻게 앙상블 기반 확률적 모델을 사용한 변분 자료 융합에 효과적으로 적용할 수 있는가?
• RQ5 모델과 목적 함수 값이 불확실성과 함께 추정될 경우, 수렴에 대해 어떤 확률적 보장을 설정할 수 있는가?

주요 결과

• 제안된 확률적 Levenberg-Marquardt 알고리즘이 충분히 높은 확률로 정확한 모델과 함수 추정치를 확보할 경우, 목적 함수의 일阶 정류점으로 확률적으로 1에 수렴하는 전역 수렴성을 확보한다.
• 특정 정규화 파라미터 스케일링 기법을 통해 신뢰영역 수렴 이론을 확률적 Levenberg-Marquardt 프레임워크로 이식할 수 있다.
• 제시된 확률적 정확도 조건 하에서 근사 정류점에 도달하기 위한 기대 반복 횟수는 경계가 존재한다.
• 이 방법은 앙상블 기반 방법을 통해 확률적 모델을 구성하는 변분 자료 융합에 적용 가능하며, 계산 효율성을 향상시킨다.
• 이론적 프레임워크는 확률적 모델링 하에서 Levenberg-Marquardt와 신뢰영역 방법 간의 관계를 명확히 한다.
• 모델과 목적 함수가 노이즈로 추정되더라도, 추정 정확도가 충분히 높은 확률로 확보될 경우 알고리즘은 여전히 수렴 보장을 유지한다.