[논문 리뷰] On the Globalization of ASPIN Employing Trust-Region Control Strategies -- Convergence Analysis and Numerical Examples

Christian Groß, Rolf Krause|arXiv (Cornell University)|2021. 04. 12.

Matrix Theory and Algorithms참고 문헌 18인용 수 5

한 줄 요약

이 논문은 신뢰영역 프레임워크 내에 ASPIN(Additively Preconditioned Inexact Newton) 방법을 통합하여 전역 수렴성과 병렬성을 확보한 비선형 최적화 방법인 G-ASPIN을 제안한다. 비선형 조정자 영향력을 제어하기 위해 보조 신뢰영역 반경을 사용함으로써 수렴성을 보장하며, 이는 이질적인 국소 해법을 유지하면서도 충분한 감소를 확보한다. 이 방법은 수천 개의 코어를 사용하는 대규모 비선형 탄성 문제에서 표준 신뢰영역 방법 대비 뚜렷한 속도 향상을 이룬다.

ABSTRACT

The parallel solution of large scale non-linear programming problems, which arise for example from the discretization of non-linear partial differential equations, is a highly demanding task. Here, a novel solution strategy is presented, which is inherently parallel and globally convergent. Each global non-linear iteration step consists of asynchronous solutions of local non-linear programming problems followed by a global recombination step. The recombination step, which is the solution of a quadratic programming problem, is designed in a way such that it ensures global convergence. As it turns out, the new strategy can be considered as a globalized additively preconditioned inexact Newton (ASPIN) method. However, in our approach the influence of ASPIN's non-linear preconditioner on the gradient is controlled in order to ensure a sufficient decrease condition. Two different control strategies are described and analyzed. Convergence to first-order critical points of our non-linear solution strategy is shown under standard trust-region assumptions. The strategy is investigated along difficult minimization problems arising from non-linear elasticity in 3D solved on a massively parallel computer with several thousand cores.

연구 동기 및 목표

• 이산화된 PDE에서 유도되는 대규모 비선형 프로그래밍 문제를 위한 전역 수렴성과 본질적으로 병렬적인 방법을 개발한다.
• 원래의 ASPIN 방법은 강한 초기 근접성 조건을 만족할 경우에만 국소 수렴성을 보장하므로, 전역 수렴성 보장의 부재를 해결한다.
• 국소 하위문제의 효율적이고 비동기적인 해법을 가능하게 하되, 신뢰영역 제어를 통해 전역 수렴성을 유지한다.
• 비선형 조정자의 영향력이 경사에 미치는 영향을 제어하는 제어 메커니즘을 설계하여 목적함수의 충분한 감소를 보장한다.

제안 방법

• ASPIN의 뉴턴 스텝을 왜곡된 2차 프로그래밍 모델의 1차 조건으로 해석함으로써, 신뢰영역 전역화를 가능하게 한다.
• 보조적이고 국소적인 신뢰영역 반경을 통해 비선형 조정자의 경사에 대한 영향력을 제어하여, 왜곡이 신뢰영역 크기와 상대적으로 유한하게 유지되도록 한다.
• 왜곡 제어 기준을 만족하는 조정된 경사도를 계산하기 위한 두 가지 전략을 제안한다: 수정된 국소 신뢰영역 방법과 감쇠 방법.
• 전역 수정은 조정된 경사를 사용하여 신뢰영역 하위문제를 풀어 계산되며, 이는 충분한 감소와 전역 수렴성을 보장한다.
• 국소 비선형 하위문제는 비동기적으로 및 병렬적으로 풀리며, 전역 2차 프로그래밍 단계를 통해 재결합된다.
• 이 프레임워크는 표준 수렴 가정을 활용하는 신뢰영역 알고리즘 내에 통합되며, 볼록성의 필요 없이도 작동한다.

실험 결과

연구 질문

• RQ1 ASPIN 방법은 병렬성과 비동기성 특성을 유지하면서도 전역적으로 일반화될 수 있는가?
• RQ2 비선형 조정자의 경사에 대한 영향력을 어떻게 제어하여 충분한 감소와 전역 수렴성을 확보할 수 있는가?
• RQ3 국소 해법의 비동기적 실행으로 인한 경사의 왜곡이 발생할 경우, 수렴성을 유지하기 위해 어떤 신뢰영역 전략을 사용할 수 있는가?
• RQ4 대규모 비선형 문제에서 표준 신뢰영역 방법과 비교해 본다면, 제안된 방법은 효율성과 안정성 면에서 어떻게 다른가?
• RQ5 대규모 병렬 아키텍처에서 수렴성을 포기하지 않고도 뚜렷한 속도 향상을 달성할 수 있는가?

주요 결과

• G-ASPIN 방법은 표준 신뢰영역 가정 하에 볼록성의 필요 없이 제1차 임계점으로의 전역 수렴성을 확보한다.
• 828,864개의 미지수를 가진 3D 비선형 탄성 문제에서, G-ASPIN은 32개 코어에서 전체 계산 시간을 신뢰영역 방법의 3,323.96초에서 2,576.61초로 단축시켰다.
• 64개 코어에서 G-ASPIN은 시간을 2,211.23초로 더 줄였으며, 국소 단계에서 선형 해법 시간이 더 길었음에도 불구하고 신뢰영역 방법의 1,805.94초를 능가했다.
• 비선형 반복 수면에서 더 빠른 수렴을 보였으며, 프로세서 수를 늘릴수록 반복 수가著감소하여 확장성 향상을 시사했다.
• 수치 결과는 G-ASPIN이 신뢰영역 방법과 동일한 최소값으로 수렴함을 확인하여 정확성과 안정성을 검증했다.
• 보조 신뢰영역 반경의 사용은 비동기적 국소 해법으로 인한 경사 왜곡을 효과적으로 제어하여 안정적이고 효율적인 전역 수렴을 가능하게 했다.