[논문 리뷰] Improvements to the Levenberg-Marquardt algorithm for nonlinear least-squares minimization

Mark K. Transtrum, James P. Sethna|arXiv (Cornell University)|2012. 01. 27.

Statistical and numerical algorithms인용 수 159

한 줄 요약

이 논문은 비선형 최소제곱 최소화를 위한 Levenberg-Marquardt 알고리즘에 대한 세 가지 핵심 개선 사항을 제안한다: 수렴 속도 향상을 위한 지오데식 가속, 평탄한 영역을 벗어나기 위한 상향 이동 단계의 용인, 그리고 자이아르드 재평가를 줄이기 위한 Broyden 기반 순위-1 업데이트. 이러한 수정은 수렴 속도와 강건성을 크게 향상시키며, 자이아르드 평가 수가 최대 70배 감소하고, 좁은 계곡이나 평평한 영역을 가진 어려운 고차원 문제에서 성공률이 향상된다.

ABSTRACT

When minimizing a nonlinear least-squares function, the Levenberg-Marquardt algorithm can suffer from a slow convergence, particularly when it must navigate a narrow canyon en route to a best fit. On the other hand, when the least-squares function is very flat, the algorithm may easily become lost in parameter space. We introduce several improvements to the Levenberg-Marquardt algorithm in order to improve both its convergence speed and robustness to initial parameter guesses. We update the usual step to include a geodesic acceleration correction term, explore a systematic way of accepting uphill steps that may increase the residual sum of squares due to Umrigar and Nightingale, and employ the Broyden method to update the Jacobian matrix. We test these changes by comparing their performance on a number of test problems with standard implementations of the algorithm. We suggest that these two particular challenges, slow convergence and robustness to initial guesses, are complimentary problems. Schemes that improve convergence speed often make the algorithm less robust to the initial guess, and vice versa. We provide an open source implementation of our improvements that allow the user to adjust the algorithm parameters to suit particular needs.

연구 동기 및 목표

• 비선형 최소제곱 최소화에서 좁은 매개변수 공간의 계곡에서의 느린 수렴과 나쁜 초기 매개변수 추측에 대한 강건성이라는 이중적 과제를 해결한다.
• 표준 Levenberg-Marquardt의 한계, 예를 들어 매개변수 증발과 매개변수 변화에 비용 함수가 민감하지 않은 평평한 영역에서의 느린 수렴을 극복한다.
• 비용이 많이 드는 자이아르드 평가 횟수를 줄이며, 어려운 고차원 문제에서 성공률을 유지하거나 향상시키기 위해 알고리즘의 효율성을 향상시킨다.
• 특히 많은 매개변수를 가진 '슬로프 모델'에 적합한, 수렴 속도와 강건성을 균형 잡는 체계적이고 조정 가능한 프레임워크를 제공한다.
• 다양한 데이터 피팅 문제에 대한 실용적 적용과 튜닝을 가능하게 하기 위해 오픈소스 구현을 개발한다.

제안 방법

• 표준 Levenberg-Marquardt 단계에 지오데식 가속 보정 항을 도입하여 매개변수 공간의 곡률을 고려함으로써 수렴 속도를 향상시킨다.
• Umrigar와 Nightingale의 용인 가능한 상향 이동 기준을 채택하여 제어된 상향 이동을 允허함으로써 국소 평탄한 영역이나 안장 영역을 벗어나는 확률을 높인다.
• 각 수락된 단계 이후 자이아르드 행렬에 Broyden의 순위-1 업데이트를 적용하여 전체 재평가를 피하고 계산 비용을 감소시킨다.
• 지오데식 가속, 용인 가능한 상향 이동, Broyden 업데이트의 세 가지 개선 사항을 통합하여 단일 향상된 알고리즘을 구성함으로써 종합적인 성능 향상을 달성한다.
• 수렴 속도와 강건성을 동적으로 균형 잡기 위해 다이내믹한 따핑 매개변수 업데이트 전략을 사용한다.
• 다양한 벤치마크 문제에 대해 알고리즘을 구현하고 테스트하여 성공률, 피팅 품질, 수렴 시 자이아르드 평가 횟수를 측정한다.

실험 결과

연구 질문

• RQ1 지오데식 가속은 비선형 최소제곱 문제에서 수렴에 필요한 자이아르드 평가 횟수를 상당히 줄일 수 있는가?
• RQ2 Umrigar와 Nightingale의 기준에 따라 상향 이동을 허용함으로써 알고리즘이 평평한 영역나 매개변수 증발을 벗어나는 능력이 향상되는가?
• RQ3 자이아르드에 대한 Broyden 기반 순위-1 업데이트는 수렴 신뢰성에 영향을 주지 않으면서 계산 효율성을 얼마나 향상시키는가?
• RQ4 세 가지 개선 사항을 통합했을 때 상호작용은 어떻게 되며, 이들이 상호보완적으로 수렴 속도와 강건성을 향상시키는가?
• RQ5 모든 세 가지 개선 사항을 통합한 알고리즘이 고차원성과 슬로프성(슬로프 모델)을 가진 다양한 테스트 문제에서 표준 Levenberg-Marquardt 구현보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 지오데식 가속은 일부 테스트 문제에서 자이아르드 평가 횟수를 최대 70배까지 감소시켰으며, 대부분의 경우 2배에서 10배의 개선을 보였다.
• 용인 가능한 상향 이동 단계의 도입은 평탄하거나 평탄한 영역을 가진 어려운 문제에서 성공률을 높였으며, 해의 품질에 크게 영향을 주지 않았다.
• Broyden 기반 순위-1 업데이트는 전체 자이아르드 재평가의 필요성을 줄여 계산 효율성을 향상시켰지만, 나쁜 초기 추측에 대한 강건성은 약간 감소시켰다.
• 지오데식 가속과 용인 가능한 상향 이동을 결합함으로써 알고리즘이 상향 이동 중에 길을 잃는 것을 방지하였고, 이는 수렴 속도 향상과 함께 높은 성공률 유지에 기여했다.
• 세 가지 개선 사항을 모두 통합한 최종 알고리즘은 평균 수렴 시 자이아르드 평가 횟수의 역수(NJEV)가 가장 높았으며, 다양한 문제 유형에서 표준 구현보다 뛰어난 성능을 보였다.
• 단일 알고리즘이 모든 문제에서 우세하지는 않았지만, 고차원성과 슬로프 모델에서 일관된 개선을 보였다.