[논문 리뷰] Mixed linear-nonlinear least squares regression

Alberto Herrera‐Gómez, R. Michael Porter|arXiv (Cornell University)|2017. 03. 12.

Statistical and numerical algorithms참고 문헌 6인용 수 3

한 줄 요약

이 논문은 선형 파라미터를 정확한 최소 제곱 해를 통해 처리함으로써 최적화를 가속화하는 혼합 선형-비선형 최소 제곱 회귀 방법을 제안한다. 비선형 반복 횟수를 줄이며, 선형 파라미터에 대해 수치적 근사 대신 '단축 도함수'를 계산하여, Levenberg-Marquardt 및 기타 기울기 기반 방법과 완전히 호환되면서도 속도와 안정성을 향상시킨다. 특히 선형 파라미터가 지배할 경우 뛰어난 성능을 발휘한다.

ABSTRACT

The problem of fitting experimental data to a given model function $f(t; p_1,p_2,\dots,p_N)$ is conventionally solved numerically by methods such as that of Levenberg-Marquardt, which are based on approximating the Chi-squared measure of discrepancy by a quadratic function. Such nonlinear iterative methods are usually necessary unless the function $f$ to be fitted is itself a linear function of the parameters $p_n$, in which case an elementary linear Least Squares regression is immediately available. When linearity is present in some, but not all, of the parameters, we show how to streamline the optimization method by reducing the "nonlinear activity" to the nonlinear parameters only. Numerical examples are given to demonstrate the effectiveness of this approach. The main idea is to replace entries corresponding to the linear terms in the numerical difference quotients with an optimal value easily obtained by linear regression. More generally, the idea applies to minimization problems which are quadratic in some of the parameters. We show that the covariance matrix of $χ^2$ remains the same even though the derivatives are calculated in a different way. For this reason, the standard non-linear optimization methods can be fully applied.

연구 동기 및 목표

• 표준 비선형 최소 제곱 피팅에서 일부 파라미터가 선형으로 들어가더라도 모든 파라미터를 비선형으로 취급하는 데서 발생하는 비효율성을 해결하기 위해.
• 선형 및 비선형 파라미터를 모두 포함하는 모델의 피팅에서 계산 비용을 줄이고 수치적 안정성을 향상시키기 위해.
• 표준 비선형 솔버의 수렴 성질을 훼손하지 않으면서 선형 구조를 활용해 최적화를 간소화하는 방법을 개발하고 수학적으로 정당화하기 위해.
• 단축 도함수를 사용할 경우 카이 제곱 함수의 공분산 행렬이 그대로 유지됨을 보여주어 표준 오차 추정치의 통계적 타당성을 보장하기 위해.

제안 방법

• 선형 파라미터에 대한 수치적 차분 몫 대신 선형 최소 제곱에서 도출된 해석적 최적 값으로 '단축 도함수'의 개념을 도입한다.
• 모델 함수가 파라미터 $ q_1, \dots, q_N $ 에 대해 선형인 경우, 고정된 $ \vec{p} $ 에 대해 $ \vec{q}^*(\vec{p}) $ 를 최소 제곱 해로 계산함으로써 $ \vec{q} $ 의 반복 업데이트가 필요 없어진다.
• 얻어진 $ \vec{q}^*(\vec{p}) $ 를 사용해 비선형 파라미터 $ p_1, \dots, p_M $ 에 대한 모델 함수의 정확한 편도함수를 계산하고, $ \chi^2 $ 의 '단축' 기울기와 헤시안을 구성한다.
• 체인 규칙과 $ \vec{q}^*(\vec{p}) $ 의 해석적 해를 사용해 $ \vec{p} $ 에 대한 $ \chi^2 $ 의 단축 헤시안을 유도함으로써 선형 파라미터에 대한 수치 미분을 피한다.
• Levenberg-Marquardt와 같은 표준 비선형 최적화 알고리즘을 단축 도함수를 사용해 적용함으로써, 전체 수치 도함수보다 계산 비용이 낮고 정확도가 높은 성능을 달성한다.
• 단축 방법을 사용할 경우 $ \chi^2 $ 의 공분산 행렬이 고전적 방법과 동일하게 유지됨을 증명함으로써 통계적 추론 성질을 유지함을 보장한다.

실험 결과

연구 질문

• RQ1 선형 파라미터를 수치적으로 반복 업데이트하는 대신 해석적으로 해결함으로써 비선형 최소 제곱 피팅의 계산 비용을 줄일 수 있는가?
• RQ2 선형 파라미터에 대한 수치 도함수를 정확한 최소 제곱 해로 대체할 경우, 비선형 회귀에서 공분산 행렬의 통계적 성질이 유지되는가?
• RQ3 단축 방법의 수렴 속도와 수치적 안정성 측면에서 고전적 비선형 최소 제곱 방법과 비교해 성능가 어떻게 다른가?
• RQ4 단축 방법의 계산 복잡도는 얼마이며, 시간과 반복 횟수 측면에서 언제 고전적 방법을 능가하는가?
• RQ5 단축 방법은 스펙트로스코피에서 피크 분리와 같은 실제 피팅 문제에 적용 가능하며 더 견고한 결과를 도출하는가?

주요 결과

• 단축 방법은 $ \chi^2 $ 의 비선형 파라미터에 대한 헤시안 계산 비용을 고전적 방법의 $ O((M+N)^3) $ 에 비해 $ O(M^2N) + O(MN^3) $ 으로 줄여, $ M \ll N $ 인 경우에 큰 속도 향상을 제공한다.
• 단축 방법은 고전적 방법과 동일한 $ \chi^2 $ 의 공분산 행렬을 유지하므로 표준 오차와 신뢰구간의 통계적 타당성이 그대로 유지된다.
• 수치 예제에서 단축 방법은 고전적 방법보다 반복 횟수가 적었으며, 특히 선형 파라미터가 지배할 경우 계산 시간을 크게 줄였다.
• 단축 도함수 기법은 모든 파라미터를 비선형으로 취급하는 것보다 더 견고하고 빠르며, 다수의 지수적 피크가 선형 조합으로 조합된 모델에서 특히 유리하다.
• 정리 5에서 제시된 이론적 정당화는 단축 방법을 통해 계산된 헤시안의 역행렬 대각성분이 전체 헤시안의 그것과 일치함을 확인하여, 이전 소프트웨어에서 관찰된 경험적 결과를 정당화한다.