[논문 리뷰] A LEVENBERG-MARQUARDT METHOD FOR NONSMOOTH REGULARIZED LEAST SQUARES

Aleksandr Y. Aravkin, Robert Baraldi외 1명|arXiv (Cornell University)|2022. 01. 01.

Sparse and Compressive Sensing Techniques인용 수 1

한 줄 요약

이 논문은 부드럽지 않은 정규화된 최소 제곱 문제를 위한 Levenberg-Marquardt 방법을 제안하며, 부드럽지 않은 비선형 최소 제곱 항과 일반적인 비부드러운 정규화항을 조합한다. 미세한 조건 하에 전역 수렴성과 O(ϵ⁻²) worst-case 복잡도를 확립하며, 세 가지 테스트 문제에서 프록시멀 그레디언트 및 쿼asi-뉴턴 방법보다 뛰어난 외부 반복 횟수를 보여준다.

ABSTRACT

We develop a Levenberg-Marquardt method for minimizing the sum of a smooth nonlinear least-squar es term $f(x) = frac{1}{2} \|F(x)\|_2^2$ and a nonsmooth term $h$. Both $f$ and $h$ may be nonconvex. Steps are computed by minimizing the sum of a regularized linear least-squares model and a model of $h$ using a first-order method such as the proximal gradient method. We establish global convergence to a first-order stationary point of both a trust-region and a regularization variant of the Levenberg-Marquardt method under the assumptions that $F$ and its Jacobian are Lipschitz continuous and $h$ is proper and lower semi-continuous. In the worst case, both methods perform $O(ε^{-2})$ iterations to bring a measure of stationarity below $ε\in (0, 1)$. We report numerical results on three examples: a group-lasso basis-pursuit denoise example, a nonlinear support vector machine, and parameter estimation in neuron firing. For those examples to be implementable, we describe in detail how to evaluate proximal operators for separable $h$ and for the group lasso with trust-region constraint. In all cases, the Levenberg-Marquardt methods perform fewer outer iterations than a proximal-gradient method with adaptive step length and a quasi-Newton trust-region method, neither of which exploit the least-squares structure of the problem. Our results also highlight the need for more sophisticated subproblem solvers than simple first-order methods.

연구 동기 및 목표

• 비볼록이고 비부드러운 정규화항을 가진 비부드러운 정규화된 최소 제곱 문제에 특화된 Levenberg-Marquardt 방법을 개발하는 것.
• 이 방법의 정규화 및 트러스트 영역 변형에 대해 전역 수렴성과 worst-case 복잡도 한계를 확립하는 것.
• 그룹-라소 기반 추적, 비선형 SVM, 신경 세포 발화 파rameter 추정과 같은 실제 문제들에서 방법의 효율성을 입증하는 것.
• 최소 제곱 구조를 활용할 때 비용이 많이 드는 프록시멀 연산자와 외부 반복 횟수 감소 사이의 상호 상충 관계를 부각하는 것.
• 일반적인 1차 방법을 넘어서 더 정교한 하위문제 해법이 필요함을 정당화하는 것.

제안 방법

• 정규화 변형(LM)과 트러스트 영역 변형(LMTR)을 가진 두 가지 변형을 사용하는 Levenberg-Marquardt 프레임워크.
• 일차 방법(예: 프록시멀 그레디언트)을 사용해 정규화된 선형 최소 제곱 모델과 비부드러운 항 h의 모델을 최소화함으로써 스텝을 계산.
• 하위문제를 해결하기 위해 프록시멀 그레디언트 또는 이차 정규화 방법을 사용하며, F와 그 자코비안의 리프시츠 연속성 조건 하에 수렴 보장.
• 일반적인 트러스트 영역 노름을 적용해 하위문제 설정의 유연성을 확보하면서도 수렴 보장을 유지.
• 프록시멀 그레디언트 단계와 연결된 정류성 측정 기준을 통해 수렴성을 유도.
• ϵ ∈ (0,1) 이하의 정류성에 도달하기 위한 worst-case 복잡도를 O(ϵ⁻²)로 확립하며, 부드러운 경우의 결과와 일치.

실험 결과

연구 질문

• RQ1 비부드럽고 비볼록 정규화항을 가진 문제에 대해 Levenberg-Marquardt 방법을 효과적으로 확장할 수 있는가? 이때 수렴성과 복잡도 한계는 유지되는가?
• RQ2 f(x) = ½∥F(x)∥²₂의 최소 제곱 구조를 활용함으로써, 기존의 프록시멀 또는 쿼asi-뉴턴 방법과 비교해 외부 반복 횟수에 어떤 영향을 미치는가?
• RQ3 Levenberg-Marquardt를 사용할 때, 비용이 많이 드는 프록시멀 연산자와 외부 반복 횟수 감소 사이의 상호 상충 관계는 어떠한가?
• RQ4 리프시츠 연속성과 적절한 하부연속성 이외의 더 약한 조건 하에서도 방법이 전역 수렴성과 복잡도 한계를 유지할 수 있는가?
• RQ5 하위문제 해법의 품질과 비정확한 평가가 전체 효율성에 어떤 역할을 하는가?

주요 결과

• LM 및 LMTR 방법은 모든 세 가지 테스트 문제에서 적응적 선색상 검색을 사용하는 프록시멀 그레디언트 및 쿼asi-뉴턴 트러스트 영역 방법보다 적은 외부 반복 횟수를 기록했다.
• 그룹-라소 기반 추적 문제에서 LMTR는 단 24회의 외부 반복만을 필요로 했으며, R2는 1359회, TR은 267회였다.
• 비선형 SVM 예제에서는 LMTR가 가장 낮은 최종 목적 함수 값(117.69)을 달성했고, 외부 반복은 단 24회였다.
• FitzHugh-Nagumo 역문제에서는 LMTR가 목적 함수 평가 횟수를 가장 적게(1420회) 사용했으며, 데이터에 대한 최적의 피팅과 정확한 희박성 구조를 확보했다.
• 내부 반복 비용이 더 높음에도 불구하고, LM 및 LMTR는 특히 초기 단계에서 다른 방법들보다 목적 함수 값의 감소가 더 빠르게 나타났다.
• 결과는 프록시멀 연산자 평가 비용이 주요 성능 저하 요인임을 강조하며, 더 효율적인 하위문제 해법이 필요함을 시사한다.