[논문 리뷰] On the p-regularized trust region subproblem

Yong Hsia, Ruey-Lin Sheu외 1명|arXiv (Cornell University)|2014. 09. 16.

Advanced Optimization Algorithms Research참고 문헌 10인용 수 4

한 줄 요약

이 논문은 p > 2인 p-정규화된 신뢰영역 하위문제(p-RS)의 전역 최소화자와 국소 비전역 최소화자를 완전히 특성화하며, 보조 함수를 통해 필요하고 충분한 최적성 조건을 수립한다. p-RS는 최대 한 개의 국소 비전역 최소화자만 가짐을 증명하고, 고정된 수의 선형 제약 조건과 p = 4일 때 다항식 시간 내에 해를 구할 수 있음을 보여준다.

ABSTRACT

The $p$-regularized subproblem (p-RS) is a regularisation technique in computing a Newton-like step for unconstrained optimization, which globally minimizes a local quadratic approximation of the objective function while incorporating with a weighted regularisation term $\fracσ{p} \|x\|^p$. The global solution of the $p$-regularized subproblem for $p=3$, also known as the cubic regularization, has been characterized in literature. In this paper, we resolve both the global and the local non-global minimizers of (p-RS) for $p>2$ with necessary and sufficient optimality conditions. Moreover, we prove a parallel result of Mart\'ınez \cite{Mar} that the (p-RS) for $p>2$, analogous to the trust region subproblem, can have at most one local non-global minimizer. When the (p-RS) is subject to a fixed number $m$ additional linear inequality constraints, we show that the uniqueness of the local solution of the (p-RS) (if exists at all), especially for $p=4$, can be applied to solve such an extension in polynomial time.

연구 동기 및 목표

• p > 2인 p-정규화된 하위문제(p-RS)의 전역 최소화자와 국소 비전역 최소화자를 완전히 특성화하는 것.
• p = 3(삼차 정규화) 및 p = 4일 때 알려진 최적성 조건을 일반적인 p > 2로 확장하는 것.
• p-RS가 전역 최소화자와 유사하게 최대 한 개의 국소 비전역 최소화자만 가짐을 증명하는 것.
• 고정된 수의 선형 부등식 제약 조건과 p = 4일 때 확장된 p-RS가 다항식 시간 내에 해를 구할 수 있음을 보이는 것.
• 등방성 공간 방법을 통해 제약 조건이 있는 p-RS 문제를 저차원 하위문제로 줄여 풀 수 있는 프레임워크를 수립하는 것.

제안 방법

• 방정정식 (H + σ‖x*‖^{p−2}I)x* = −c와 H + σ‖x*‖^{p−2}I ⪰ 0의 양의 준정부정성 조건을 이용해 전역 최적성의 필요 및 충분 조건을 유도한다.
• 국소 비전역 최소화자를 특성화하기 위해 t ∈ (max{−α₂/σ, 0}, −α₁/σ)에서 정의된 보조 함수 h(t) = ‖(H + σtI)⁻¹c‖² − t^{2/(p−2)}를 도입한다.
• H의 고유값 분해를 이용해 전역 최소화자의 구조를 분석하여, 그들이 특정 점을 중심으로 하는 단일점 또는 k차원 구면일 수 있음을 보여준다.
• 등식 제약 조건 a_j^T x = l_j 또는 u_j를 사용해 하나의 변수씩 제거함으로써 제약 조건이 있는 문제의 차원을 낮추는 등방성 공간 표현을 적용한다.
• m-제약 조건 문제를 (m−1)-제약 조건 하위문제로 유지하는 구조를 유지하면서, 귀납적 접근을 통해 문제를 단계적으로 축소한다.
• s가 {a₁,…,aₘ}의 임의의 s+1개 열이 선형 종속일 때의 최소 수임을 고려해, 하위문제의 수를 m × (m−1) × ⋯ × (m−s+1)로 유계화함으로써 다항식 시간 가용성을 증명한다.

실험 결과

연구 질문

• RQ1 p > 2인 p-RS의 전역 최소화자일 조건은 무엇인가?
• RQ2 p > 2인 p-RS의 국소 비전역 최소화자는 명시적인 최적성 조건으로 특성화될 수 있는가?
• RQ3 p > 2인 p-RS는 신뢰영역 하위문제와 마찬가지로 두 개 이상의 국소 비전역 최소화자를 가질 수 있는가?
• RQ4 고정된 수의 선형 부등식 제약 조건과 p = 4일 때 p-RS는 다항식 시간 내에 해를 구할 수 있는가?
• RQ5 선형 제약 조건이 있는 일반적인 p-RS 문제의 계산 복잡도는 p ≠ 4일 때 어떻게 되는가?

주요 결과

• p > 2인 p-RS의 전역 최소화자는 (H + σ‖x*‖^{p−2}I)x* = −c와 H + σ‖x*‖^{p−2}I ⪰ 0의 체계에 의해 존재하고 특성화된다.
• 전역 최소화자의 ℓ₂ 노름은 해 집합이 구면일지라도 유일하게 결정된다.
• 점이 국소 비전역 최소화자일 조건은 x̲ = −(H + σt̲*I)⁻¹c를 만족하며, t̲*가 (−α₂/σ, −α₁/σ) 내에서 보조 함수 h(t)의 근이면서 h′(t̲*) > 0를 만족할 때이다.
• p > 2인 p-RS는 전역 최소화자와 유사하게 최대 한 개의 국소 비전역 최소화자만 가짐을 증명하여, 기존의 신뢰영역 하위문제 결과를 확장한다.
• p = 4이면서 고정된 수 m의 선형 부등식 제약 조건이 있는 경우, 문제는 저차원 하위문제로의 반복적 축소를 통해 다항식 시간 내에 해를 구할 수 있다.
• 축소 과정 동안 생성되는 하위문제의 총 수는 m에만 의존하는 상수로 유계화되어 있으며, m이 고정되어 있을 경우 다항식 시간 복잡도를 보장한다.