[논문 리뷰] A stochastic Levenberg-Marquardt method using random models with complexity results and application to data assimilation

El Houcine Bergou, Youssef Diouane외 2명|arXiv (Cornell University)|2018. 07. 05.

Statistical and numerical algorithms인용 수 2

한 줄 요약

이 논문은 노이즈가 있는 목적 함수 값과 무작위 모델을 다룰 수 있도록 확률 기반 정확도 보장을 사용하고 특수한 정규화 스케일링을 적용한 확률적 Levenberg-Marquardt 알고리즘을 제안한다. 충분한 정확도 확률 조건 하에서 반복 복잡도 경계를 설정하여 결정론적 결과를 일반화하고, 앙상블 방법을 통한 변동성 데이터 융합과 연결한다.

ABSTRACT

Globally convergent variants of the Gauss-Newton algorithm are often the methods of choice to tackle nonlinear least-squares problems. Among such frameworks, Levenberg-Marquardt and trust-region methods are two well-established, similar paradigms. Both schemes have been studied when the Gauss-Newton model is replaced by a random model that is only accurate with a given probability. Trust-region schemes have also been applied to problems where the objective value is subject to noise: this setting is of particular interest in fields such as data assimilation, where efficient methods that can adapt to noise are needed to account for the intrinsic uncertainty in the input data. In this paper, we describe a stochastic Levenberg-Marquardt algorithm that handles noisy objective function values and random models, provided sufficient accuracy is achieved in probability. Our method relies on a specific scaling of the regularization parameter, that allows us to leverage existing results for trust-region algorithms. Moreover, we exploit the structure of our objective through the use of a family of stationarity criteria tailored to least-squares problems. Provided the probability of accurate function estimates and models is sufficiently large, we bound the expected number of iterations needed to reach an approximate stationary point, which generalizes results based on using deterministic models or noiseless function values. We illustrate the links between our approach and variational data assimilation, where stochasticity arises from the so-called ensemble methods.

연구 동기 및 목표

• 비선형 최소 제곱 문제에서 노이즈가 있는 목적 함수 값과 무작위 모델을 수용할 수 있는 전역 수렴성 확보를 목표로 하는 확률적 Levenberg-Marquardt 방법 개발.
• 모델과 함수 추정치가 주어진 확률로만 정확한 확률적 환경에서 트러스트 영역 수렴 이론을 일반화.
• 모델과 함수 평가의 확률적 정확도 가정 하에 근사 정류점에 도달하기 위한 반복 복잡도 경계 제공.
• 앙상블 기반 근사에서 자연스럽게 발생하는 확률적 성격을 고려해 제안된 방법을 변동성 데이터 융합과 연결.
• 최소 제곱 문제에 특화된 정류 조건을 활용하여 수렴 분석의 정밀도와 효율성을 향상.

제안 방법

• 모델의 정확도가 특정 확률로 보장되는 무작위 모델로 가우스-뉴턴 모델을 대체하는 확률적 Levenberg-Marquardt 프레임워크 사용.
• 기존 트러스트 영역 수렴 결과를 활용할 수 있도록 특정 정규화 파라미터 스케일링 적용으로 이론적 보장을 전이 가능하게 함.
• 비선형 최소 제곱 문제의 맥락에서 최적성의 본질을 더 잘 반영하기 위해 최소 제곱 문제에 특화된 정류 조건 가족 활용.
• 확률적 가정에 기반: 모델 및 함수 값 추정치가 수렴을 보장하기 위해 충분히 높은 확률로 정확해야 함.
• 근사 정류점에 도달할 때까지의 기대 반복 수를 제한하기 위해 복잡도 분석 통합.
• 앙상블 기반 근사에서 자연스럽게 요구되는 확률적 모델과 노이즈가 있는 함수 평가를 도출함으로써 변동성 데이터 융합과 연결.

실험 결과

연구 질문

• RQ1 모델과 목적 함수 값이 모두 무작위이며 주어진 확률로만 정확할 경우, 확률적 Levenberg-Marquardt 방법이 전역 수렴성을 달성할 수 있는가?
• RQ2 어떤 정규화 파라미터 스케일링이 수렴을 보장하고 기존 트러스트 영역 복잡도 결과를 확률적 환경에서 활용할 수 있도록 하는가?
• RQ3 최소 제곱 문제에 특화된 정류 조건을 어떻게 활용하여 확률적 환경 하에서 수렴 분석을 강화할 수 있는가?
• RQ4 모델과 함수 추정치의 정확도가 확률적으로 보장될 경우, 제안된 방법의 기대 반복 복잡도는 무엇인가?
• RQ5 제안된 방법은 실질적으로 어떤 방식으로 결정론적 Levenberg-Marquardt 기법을 일반화하고 앙상블 기반 데이터 융합과 연결되는가?

주요 결과

• 제안된 확률적 Levenberg-Marquardt 방법은 모델과 함수 추정치 정확도에 대한 확률적 가정 하에서 전역 수렴성을 달성한다.
• 모델과 함수 값의 정확도 확률이 특정 임계값을 초과할 경우, 근사 정류점에 도달하기까지의 기대 반복 수가 경계된다.
• 노이즈가 있는 함수 평가와 무작위 모델이 존재하는 환경으로 일반화된 결정론적 복잡도 결과를 확장함으로써 기존 결과를 확장한다.
• 특정 정규화 파라미터 스케일링 덕분에 기존 트러스트 영역 수렴 이론을 확률적 맥락에서 활용할 수 있다.
• 이 프레임워크는 앙상블 방법이 필요한 확률적 모델과 노이즈 있는 관측치를 자연스럽게 생성하는 변동성 데이터 융합과 자연스럽게 부합한다.
• 최소 제곱 문제에 특화된 정류 조건의 활용은 비선형 최소 제곱 문제 맥락에서 수렴 분석의 정밀도를 향상시킨다.