[논문 리뷰] Geodesic acceleration and the small-curvature approximation for nonlinear least squares

Mark K. Transtrum, James P. Sethna|arXiv (Cornell University)|2012. 07. 20.

Geophysics and Gravity Measurements참고 문헌 1인용 수 3

한 줄 요약

이 논문은 비선형 최소 제곱 최적화를 위한 Levenberg-Marquardt 알고리즘에 대한 제2차 보정으로 지오데식 가속도를 도입한다. 이는 미분기하학을 사용하지 않고 잔차가 작다는 근사의 삼차항까지 확장하여 유도된다. 이 방법은 광역 수렴성을 유지하면서도 좁고 꼬인 매개변수 공간에서 수렴 속도를 높이며, 특히 모델의 외재 곡률이 작은 경우에 뚜렷한 성능 향상을 제공한다. 계산 비용은 최소한으로 유지되며, 빠른 수렴을 이룬다.

ABSTRACT

It has been shown numerically that the performance of the Levenberg-Marquardt algorithm can be improved by including a second order correction known as the geodesic acceleration. In this paper we give the method a more sound theoretical foundation by deriving the geodesic acceleration correction without using differential geometry and showing that the traditional convergence proofs can be adapted to incorporate geodesic acceleration. Unlike other methods which include second derivative information, the geodesic acceleration does not attempt to improve the Gauss-Newton approximate Hessian, but rather is an extension of the small-residual approximation to cubic order. In deriving geodesic acceleration, we note that the small-residual approximation is complemented by a small-curvature approximation. This latter approximation provides a much broader justification for the Gauss-Newton approximate Hessian and Levenberg-Marquardt algorithm. In particular, it is justifiable even if the best fit residuals are large, is dependent only on the model and not on the data being fit, and is applicable for the entire course of the algorithm and not just the region near the minimum.

연구 동기 및 목표

• 비선형 최소 제곱 최적화를 위한 지오데식 가속도의 기하학적 독립적인 유도를 제공하는 것.
• 작은 곡률 근사와의 연결을 통해 지오데식 가속도에 대한 이론적 근거를 확립함으로써, 소잔차 근사보다 더 널리 적용 가능한 범위를 제공하는 것.
• Levenberg-Marquardt 알고리즘에 지오데식 가속도를 통합함으로써 그 광역 수렴 성질을 유지하는 것을 입증하는 것.
• 고차원 데이터 피팅 문제에서 흔히 나타나는 좁고 꼬인 매개변수 공간에서 지오데식 가속도가 수렴 속도를 향상시킬 수 있음을 보여주는 것.
• 헤시안 개선 방법과의 보완적 접근으로서, 헤시안 추정이 아닌 고차항 보정에 초점을 맞춘 지오데식 가속도를 위치시키는 것.

제안 방법

• 비용 함수의 테일러 전개를 삼차항까지 적용하여 지오데식 가속도를 유도함으로써, 미분기하학을 피하고 직접 잔차 및 그 도함수를 다룸.
• 헤시안에서 간과된 제2차 항들을 모델 매니폴드의 외재 곡률에 비례하는 것으로 식별함으로써, 이를 작은 곡률 근사와 연결함.
• 작은 곡률 근사가 최소점 근처뿐 아니라 최적화 전체 경로에서 가우스-뉴턴 헤시안 추정을 정당화함을 보여줌. 잔차 크기와는 무관하게 적용 가능함.
• 매개변수 갱신의 삼차항으로서 지오데식 가속도 보정을 유도함. 이는 잔차의 2차 도함수와 야코비안에서 유도됨.
• 보정 항을 곡률 인식 보정 항으로 포함시켜 Levenberg-Marquardt 알고리즘의 갱신 단계를 수정함으로써 보정을 통합함.
• 지오데식 가속도의 포함이 Levenberg-Marquardt의 광역 수렴 성질을 손상시키지 않음을 증명함. 수정된 갱신 규칙에 맞게 표준 수렴 증명을 적응함.

실험 결과

연구 질문

• RQ1 지오데식 가속도를 미분기하학에 의존하지 않고 유도할 수 있는가? 이는 최적화에서의 활용에 더 접근 가능한 기초를 제공할 수 있는가?
• RQ2 최적화 경로 전반에 걸쳐 작은 곡률 근사와 작은 잔차 근사의 유효성과 적용 가능성을 비교할 수 있는가?
• RQ3 지오데식 가속도의 통합이 Levenberg-Marquardt 알고리즘의 광역 수렴 성질을 유지하는가?
• RQ4 지오데식 가속도가 표준 Levenberg-Marquardt보다 성능 향상을 가장 크게 보이는 매개변수 공간 영역은 어디인가?
• RQ5 지오데식 가속도는 고차원의 좁은 협곡 구조 최적화 문제에서 높은 성능 향상을 얻기 위해 최소한의 계산 비용으로 구현될 수 있는가?

주요 결과

• 지오데식 가속도는 소잔차 근사의 삼차항 확장으로서 유도되며, 전체 헤시안 계산 없이도 더 정확한 헤시안 추정을 가능하게 함.
• 작은 곡률 근사는 소잔차 근사보다 더 넓은 매개변수 범위에서 유효하며, 최소점에서 멀리 떨어진 영역까지 적용 가능함.
• 잔차가 크더라도 모델의 외재 곡률이 작다면 보정이 유효하므로, 더 넓은 범위의 문제에 적용 가능함.
• 지오데식 가속도 보정은 Levenberg-Marquardt에 최소한의 계산 비용으로 통합 가능하며, 광역 수렴 성질을 손상시키지 않음.
• 이전 연구의 수치적 증거에 따르면, 지오데식 가속도는 고차원의 협곡 구조 최적화 경로에서 함수 평가 및 야코비안 평가 횟수를 크게 감소시킴.
• 표준 Levenberg-Marquardt가 어려움을 겪는 좁고 꼬인 매개변수 공간에서, 비용 함수의 곡률을 따라가는 능력 덕분에 지오데식 가속도는 특히 수렴 속도를 빠르게 함.