[논문 리뷰] Sequential Quadratic Optimization for Nonlinear Equality Constrained Stochastic Optimization

Albert S. Berahas, Frank E. Curtis외 2명|arXiv (Cornell University)|2020. 07. 20.

Advanced Optimization Algorithms Research참고 문헌 34인용 수 6

한 줄 요약

이 논문은 비선형 등식 제약 조건이 있는 확률적 최적화를 위한 순차적 quadratic programming (SQP) 알고리즘을 제안한다. 여기서 제약 조건은 결정적이나 목적 함수는 확률적이다 (즉, 오직 비편향된 기울기 추정치만 이용 가능하다). 기존의 선 탐색을 Lipschitz 상수 또는 그 적응적 추정치에 기반한 스텝 사이즈 전략으로 대체하여, 미약한 가정 하에 기대값 수렴을 달성하고, 수치 실험에서 페널티 기반의 확률적 서브기울기 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Sequential quadratic optimization algorithms are proposed for solving smooth nonlinear optimization problems with equality constraints. The main focus is an algorithm proposed for the case when the constraint functions are deterministic, and constraint function and derivative values can be computed explicitly, but the objective function is stochastic. It is assumed in this setting that it is intractable to compute objective function and derivative values explicitly, although one can compute stochastic function and gradient estimates. As a starting point for this stochastic setting, an algorithm is proposed for the deterministic setting that is modeled after a state-of-the-art line-search SQP algorithm, but uses a stepsize selection scheme based on Lipschitz constants (or adaptively estimated Lipschitz constants) in place of the line search. This sets the stage for the proposed algorithm for the stochastic setting, for which it is assumed that line searches would be intractable. Under reasonable assumptions, convergence (resp.,~convergence in expectation) from remote starting points is proved for the proposed deterministic (resp.,~stochastic) algorithm. The results of numerical experiments demonstrate the practical performance of our proposed techniques.

연구 동기 및 목표

• 결정적 등식 제약 조건이 있는 확률적 비선형 최적화를 위한 효율적인 SQP 기반 방법의 부족을 해결하기 위해.
• 선 탐색 대신 Lipschitz 기반 스텝 사이즈 선택을 사용하는 결정적 SQP 알고리즘을 개발하여, 최신 기법과 동일한 수렴 보장을 확보하기 위해.
• 오직 목적 함수의 노이즈가 있는 기울기 추정치만 이용 가능한 확률적 환경으로 이 프레임워크를 확장하기 위해.
• 합리적인 가정 하에 기대값 수렴을 증명하고, 악성 매력 함수 파rameter 행동에 대한 강건성도 확보하기 위해.
• 수치 실험을 통해 제안된 방법이 페널티 기반의 확률적 서브기울기 방법보다 타당성과 최적성 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 결정적 알고리즘은 쿼asi-뉴턴 헤시안 근사와 이차 하위문제를 통해 탐색 방향을 계산하며, 스텝 사이즈는 기울기의 추정된 Lipschitz 상수에 기반한다.
• 목적 함수 감소와 제약 위반을 균형 잡는 적응형 페널티 파라미터를 가진 매력 함수를 사용하며, 악성 행동을 방지하기 위한 보호 조치를 포함한다.
• 확률적 환경에서는 목적 함수의 확률적 기울기 추정치를 사용하고, 동일한 Lipschitz 기반 스텝 사이즈 전략을 적용하여 계산이 어려운 선 탐색을 피한다.
• 스테이블한 근사 프레임워크를 사용하며, 스텝 사이즈와 매력 함수 균형을 제어하기 위해 적응적 파라미터 τk와 ξk를 활용한다.
• 수렴 분석은 기울기와 제약 함수가 볼록 이웃에서 유계임을 가정하며, θ=0일 경우 유계성 조건을 완화할 수 있다.
• Lipschitz 추정치를 통한 트러스트 영역 유사 메커니즘을 사용하여, 명시적 선 탐색 없이도 매력 함수의 충분한 감소를 보장한다.

실험 결과

연구 질문

• RQ1 Lipschitz 기반 스텝 사이즈 선택을 사용하는 선 탐색이 없는 SQP 방법이 결정적 환경에서 최신 기술 수준의 선 탐색 SQP 방법과 동일한 수렴 보장을 달성할 수 있는가?
• RQ2 Lipschitz 추정치와 확률적 기울기를 사용하는 확률적 SQP 알고리즘이 표준 가정 하에 기대값 수렴을 보장하는가?
• RQ3 확률적 환경에서 적응형 매력 함수 파라미터의 악성 행동에 대해 제안된 알고리즘이 얼마나 강건한가?
• RQ4 제안된 방법이 타당성과 최적성 오차 측면에서 페널티 기반의 확률적 서브기울기 방법보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 확률적 SQP 프레임워크에서 기울기의 유계성 가정은 어떤 조건에서 완화될 수 있는가?

주요 결과

• Lipschitz 기반 스텝 사이즈를 사용하는 결정적 SQP 알고리즘은 최신 기술 수준의 선 탐색 SQP 방법과 동일한 이론적 수렴 보장을 달성한다.
• 표준 가정 하에 확률적 SQP 알고리즘은 기대값 수렴을 통해 정류점에 수렴하며, 결정적 변형과 동일한 수렴 품질을 보인다.
• 수치 실험 결과, 확률적 SQP 방법은 정확도와 타당성 오차 측면에서 정확한 페널티 함수에 적용된 확률적 서브기울기 방법보다 일관되고 뚜렷이 뛰어난 성능을 보였다.
• 모든 시행에서 τk ≤ τk^trial 조건이 99퍼센트 이상의 반복에서 만족되었으며, 이는 이론적 가정의 실용적 타당성을 시사한다.
• 기울기의 유계성 가정은 θ > 0일 경우에만 필요하며, θ = 0일 경우 이 조건을 완화할 수 있어 강건성이 향상된다.
• 알고리즘은 10⁻⁸에서 10⁻¹까지 다양한 노이즈 수준에서 안정적인 성능을 보이며, 일관된 수렴 행동을 보였다.