[논문 리뷰] Inexact Sequential Quadratic Optimization for Minimizing a Stochastic Objective Function Subject to Deterministic Nonlinear Equality Constraints

Frank E. Curtis, Daniel P. Robinson외 1명|arXiv (Cornell University)|2021. 07. 07.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 오직 노이즈가 있는 기울기 추정치만 이용 가능한 경우, 결정론적 비선형 등식 제약 조건을 갖는 스토크래틱 목적 함수를 최소화하기 위한 비정확한 확률적 순차적 정수계획법(SISQO) 알고리즘을 제안한다. MINRES와 같은 반복적 선형 해법기를 사용해 하위문제의 해를 비정확하게 허용함으로써, 계산 비용을 절감하면서도 기대값 수렴성을 유지하며, 수치 실험에서 정확한 하위문제 해법보다 우수한 성능을 보였다.

ABSTRACT

An algorithm is proposed, analyzed, and tested experimentally for solving stochastic optimization problems in which the decision variables are constrained to satisfy equations defined by deterministic, smooth, and nonlinear functions. It is assumed that constraint function and derivative values can be computed, but that only stochastic approximations are available for the objective function and its derivatives. The algorithm is of the sequential quadratic optimization variety. A distinguishing feature of the algorithm is that it allows inexact subproblem solutions to be employed, which is particularly useful in large-scale settings when the matrices defining the subproblems are too large to form and/or factorize. Conditions are imposed on the inexact subproblem solutions that account for the fact that only stochastic objective gradient estimates are available. Convergence results in expectation are established for the method. Numerical experiments show that it outperforms an alternative algorithm that employs highly accurate subproblem solutions in every iteration.

연구 동기 및 목표

• 오직 노이즈가 있는 기울기 추정치만 제공되는 상황에서 결정론적 비선형 등식 제약 조건이 있는 스토크래틱 최적화 문제를 효율적으로 해결할 수 있는 알고리즘을 개발하는 것.
• 정확한 하위문제 해법이 아닌 비정확한 하위문제 해법을 허용하는 순차적 정수계획법(SQP) 기법을 스토크래틱 환경에 확장하여, 대규모 문제에 대한 확장성을 향상시키는 것.
• 스토크래틱 기울기 근사에 맞는 비정확성 조건 하에서 기대값 수렴성을 확립하는 것.
• 비정확한 하위문제 해법이 정확한 해법보다 반복 횟수와 계산 비용 측면에서 더 나은 전체 성능을 보이는지 경험적으로 입증하는 것.
• 실제 응용에서 불확실성과 제약 조건이 존재할 경우, 반복 단위 비용과 전역 수렴성 간의 균형을 맞춘 실용적인 알고리즘을 제공하는 것.

제안 방법

• 알고리즘은 결정론적 비선형 등식 제약 조건이 있는 스토크래틱 최적화 문제를 해결하기 위해 순차적 정수계획법(SQP)을 사용한다.
• 목적 함수와 그 도함수의 경우 스토크래틱 기울기 추정치를 사용하지만, 제약 함수와 그 도함수의 경우 정확하게 계산한다.
• 이차 하위문제의 비정확한 해법을 허용하며, 스토크래틱 기울기 노이즈를 고려해 수렴 조건을 조정한다.
• 각 SQP 하위문제에서 발생하는 비정칙 선형 시스템을 해결하기 위해 반복적 선형 해법기(예: MINRES)를 사용하여 전체 행렬 분해를 피한다.
• 스토크래틱 기울기의 노이즈 수준에 따라 비정확성 허용 기준을 설정함으로써 최적성 향상에 충분한 진전을 확보한다.
• 보상 함수에 대한 선 탐색을 통해 스텝 크기를 결정하여, 적절한 조건 하에서 전역 수렴 성질을 유지한다.

실험 결과

연구 질문

• RQ1 결정론적 비선형 등식 제약 조건이 있는 스토크래틱 최적화 문제에 대해 비정확한 SQP 방법을 설계하고 분석할 수 있는가?
• RQ2 스토크래틱 기울기만 제공되는 상황에서 비정확한 하위문제 해법에 대한 어떤 조건이 기대값 수렴을 보장하는가?
• RQ3 비정확한 하위문제 해법을 허용할 경우, 대규모 환경에서 정확한 해법 대비 더 나은 전체 성능을 달성할 수 있는가?
• RQ4 비정확성 허용 기준은 스토크래틱 기울기 추정치의 노이즈 수준과 어떻게 관련되는가?
• RQ5 총 계산 비용과 수렴 속도 측면에서 제안된 방법이 정확한 하위문제 해법보다 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• SISQO는 외부 반복 횟수가 더 많음에도 불구하고, 정확한 하위문제 변형(SISQO_exact)보다 평균 타당성 오차와 정류성 오차가 더 낮게 나타났다.
• 문제 (47)에서 εN = 10⁻⁴일 경우, SISQO는 SISQO_exact 대비 타당성 오차를 90% 이상 감소시켰으며, 외부 반복당 평균 8.9회의 MINRES 반복을 수행했다.
• 문제 (48)에서 SISQO는 외부 반복당 평균 14.5회의 MINRES 반복을 수행하며 타당성 오차 1.68×10⁻⁷을 달성했고, SISQO_exact는 1.31×10⁻⁵의 타당성 오차를 기록했다.
• 모든 테스트 케이스에서 SISQO는 SISQO_exact보다 총 MINRES 반복 횟수가 적었으며, 선형 시스템을 해결하는 데서 더 높은 효율성을 보였다.
• 스토크래틱 기울기 노이즈에 맞춘 비정확성 조건 하에서도 기대값 수렴을 유지하였으며, 정확한 방법의 이론적 보장을 그대로 충족시켰다.
• 수치 결과는 비정확성 처리가 반복 단위 비용과 전역 수렴성 간의 균형을 더 잘 이끌어내며, 특히 대규모 문제에서 유리한 성능을 발휘함을 보여주었다.