[논문 리뷰] Secant acceleration of sequential residual methods for solving large-scale nonlinear systems of equations

Ernesto G. Birgin, J. M. Martı́nez|arXiv (Cornell University)|2020. 12. 24.

Advanced Optimization Algorithms Research참고 문헌 51인용 수 4

한 줄 요약

이 논문은 대규모 비선형 방정식계를 해결하기 위해 DF-SANE 알고리즘의 가속 버전을 제안한다. 이는 순차 잔여법에 비례 기반 가속 기법을 통합함으로써 반복 횟수와 계산 시간을 줄인다. 과거 반복값을 활용해 수렴성을 향상시켜, 특히 조건수(-condition number)가 높은 어려운 3D Bratu 문제에서 NITSOL 대비 최대 10배 빠른 성능을 보이며, 반복 횟수와 계산 시간을 감소시킨다.

ABSTRACT

Sequential Residual Methods try to solve nonlinear systems of equations $F(x)=0$ by iteratively updating the current approximate solution along a residual-related direction. Therefore, memory requirements are minimal and, consequently, these methods are attractive for solving large-scale nonlinear systems. However, the convergence of these algorithms may be slow in critical cases; therefore, acceleration procedures are welcome. In this paper, we suggest to employ a variation of the Sequential Secant Method in order to accelerate Sequential Residual Methods. The performance of the resulting algorithm is illustrated by applying it to the solution of very large problems coming from the discretization of partial differential equations.

연구 동기 및 목표

• 순차 잔여법(SRM)이 백트래킹이 자주 발생하는 경우에 느린 수렴 문제를 해결하기 위해.
• 잔여값 평가 수와 메모리 사용량을 최소화하면서 수렴 속도를 향상시키는 효율적인 가속 기법을 개발하기 위해.
• DF-SANE의 전역 수렴 이론을 잔여값 기반 방향을 사용하는 비례 기반 가속 기법을 포함하도록 확장하기 위해.
• 특히 표준 방법이 어려움을 겪는 조건수 높은 영역에서 대규모 PDE 이산화 문제에 대한 성능 평가를 수행하기 위해.
• 반복 횟수, 기능 평가 횟수, CPU 시간 측면에서 가속된 방법을 NITSOL 및 표준 DF-SANE와 비교하기 위해.

제안 방법

• 잔여값이 아니지만 잔여값과 관련된 탐색 방향을 允허하는 일반화된 순차 잔여법을 도입하여 유연성과 수렴성을 향상시킨다.
• 과거 반복값과 잔여값의 차이를 사용해 역자기안(Jacobian)을 근사하는 다점 비례 방법을 적용하여 정확한 자코비안 계산의 필요성을 줄인다.
• 매개수 $ p $ 를 통해 과거 반복값의 수를 제어하는 가변 메모리 비례 업데이트 전략을 사용한다.
• 충분한 내림내림 조건을 갖춘 선 탐색을 사용해 전역 수렴을 보장하면서 기능 평가 횟수를 최소화한다.
• 초기 반복에서 수렴을 향상시키기 위해 스펙트럼(Barzilai-Borwein 유사) 원리에 기반한 동적 스텝 크기 선택 전략을 구현한다.
• 가속 기법을 DF-SANE 프레임워크에 통합하여 이론적 수렴 보장이 확장된 Accelerated DF-SANE를 구성한다.

실험 결과

연구 질문

• RQ1 비례 기반 가속 기법이 대규모 비선형 방정식계에서 순차 잔여법의 반복 횟수와 기능 평가 횟수를 크게 줄일 수 있는가?
• RQ2 어려운 PDE 이산화 문제에서 가속된 방법이 NITSOL 및 표준 DF-SANE와 비교해 어떻게 성능을 내는가?
• RQ3 메모리 매개수 $ p $ 가 가속된 방법의 수렴 속도와 계산 비용에 어떤 영향을 미치는가?
• RQ4 가속 기법은 전역 수렴을 유지하면서 국소 수렴 속도를 향상시키는가?
• RQ5 특히 $ \theta $ 가 음수이면서 절댓값이 큰 Bratu 문제에서 이 방법은 어떻게 성능을 내는가?

주요 결과

• 조건수 높은 3D Bratu 문제에서 $ n_p = 40 $ 이고 $ \theta = -100 $ 일 때, Accelerated DF-SANE는 NITSOL보다 CPU 시간을 약 10배 이상 줄여, 1000초 이내에 수렴한 반면 NITSOL은 10,000초 이상 소요되었다.
• $ \theta \geq -20 $ 일 경우 두 방법의 성능이 유사했고, NITSOL이 略로 빠르게 나타났다. 그러나 $ \theta < -20 $ 일 경우 Accelerated DF-SANE가 뚜렷한 우위를 보였으며, 특히 조건수 높은 영역에서 두드러졌다.
• p가 3에서 17으로 증가함에 따라 Accelerated DF-SANE의 반복 횟수는 거의 일정했으며, 테스트 범위에서 최대 20% 이내로 변동하였다.
• CPU 시간은 p가 증가함에 따라 증가했으며, 측정된 선형 회귀식 $ L(p) \approx 4.08 + 1.01p $ 에 따르면, $ p=3 $ 에서 $ p=17 $ 로 갈수록 시간 비용이 약 300% 증가하였다.
• 가장 어려운 경우($ \theta = -100 $)에서 DF-SANE는 수렴할 수 있을 정도로 오랜 시간(수 시간)이 소요되었지만, Accelerated DF-SANE는 1000초 이내에 정지 조건을 충족시켰다.
• 어려운 문제에서 Accelerated DF-SANE의 기능 평가 횟수는 항상 NITSOL보다 적었으며, 이는 더 높은 반복당 비용에도 불구하고 평가 오버헤드가 감소했음을 확인한다.