[논문 리뷰] Partially separable convexly-constrained optimization with non-Lipschitzian singularities and its complexity

Xiaojun Chen, Philippe L. Toint외 1명|arXiv (Cornell University)|2017. 04. 23.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 비라플라스키안 $\beta$-노름 정규화($q \in (0,1)$)를 가진 부분적으로 분리 가능한 볼록 제약 조건이 있는 최적화 문제를 위한 고차 테일러 모델을 사용하는 적응형 정규화 알고리즘을 제안한다. 최악의 평가 복잡도가 홀수차 모델의 경우 $O(\epsilon^{-(p+1)/p})$로 유지됨을 입증하였으며, 이는 라플라스키안 경우와 동일한 복잡도를 유지한다. 특이점이 존재하거나 부분적 분리 가능성 또는 비라플라스키안 모델을 활용할 때도 복잡도 손실 없이 성립한다.

ABSTRACT

An adaptive regularization algorithm using high-order models is proposed for partially separable convexly constrained nonlinear optimization problems whose objective function contains non-Lipschitzian $\ell_q$-norm regularization terms for $q\in (0,1)$. It is shown that the algorithm using an $p$-th order Taylor model for $p$ odd needs in general at most $O(ε^{-(p+1)/p})$ evaluations of the objective function and its derivatives (at points where they are defined) to produce an $ε$-approximate first-order critical point. This result is obtained either with Taylor models at the price of requiring the feasible set to be 'kernel-centered' (which includes bound constraints and many other cases of interest), or for non-Lipschitz models, at the price of passing the difficulty to the computation of the step. Since this complexity bound is identical in order to that already known for purely Lipschitzian minimization subject to convex constraints [CartGoulToin2016], the new result shows that introducing non-Lipschitzian singularities in the objective function may not affect the worst-case evaluation complexity order. The result also shows that using the problem's partially separable structure (if present) does not affect complexity order either. A final (worse) complexity bound is derived for the case where Taylor models are used with a general convex feasible set.

연구 동기 및 목표

• 희소 신호 복원 및 영상 처리에서 발생하는 비라플라스키안 $\ell_q$-노름 정규화($q \in (0,1)$)를 가진 부분적으로 분리 가능한 볼록 제약 조건이 있는 최적화 문제를 다루기 위해.
• 이러한 문제를 해결할 때 고차 모델을 사용한 최악의 평가 복잡도를 분석하기 위해.
• 표준 라플라스키안 문제와 비교할 때 비라플라스키안 특이점 또는 부분적으로 분리 가능한 구조가 복잡도 순서에 영향을 주는지 확인하기 위해.
• 비라플라스키안 항을 처리할 수 있는 복잡도 유지 알고리즘을 개발하기 위해. 이는 커널 중심 제약 조건 하에서 테일러 모델을 사용하거나, 이러한 제약 없이 비라플라스키안 모델을 사용하는 방식이다.
• 새로운 일阶 임계성 측도와 $|x|^q$를 위한 이면 모델을 제안하여, 홀수차 다항식을 사용한 효과적인 과대추정을 가능하게 한다.

제안 방법

• 부드러운 부분의 목적 함수에 대해 $p$-차 테일러 모델($p$는 홀수)을 사용하고, 비라플라스키안 $|x_i|^q$ 항에 대해 이면 모델을 사용하여 특이점 근처에서 함수의 전역 과대추정을 보장한다.
• 비라플라스키안 특이점 존재 하에서 $\epsilon$-근사 임계점의 정도를 측정하기 위해 새로운 일阶 임계성 측도를 정의한다.
• 사용 가능한 해가 커널 중심인 타당 집합을 가정하여, $U_i$의 영공간에 대한 투영이 타당성을 유지하도록 보장한다.
• 비라플라스키안 모델의 경우, 특이점 처리의 어려움을 하위문제 해결 과정으로 이관함으로써 커널 중심 제약 없이도 더 넓은 적용 가능성을 확보한다.
• 새로운 이면 모델 $T_{|\cdot|^q,p}(x_i, s_i)$를 활용하여, $p$가 홀수일 때 대칭적이면서 $|x_i + s_i|^q$의 타당한 과대추정을 제공한다.
• 부드러운 함수를 사용하는 대신, $|x|^q$의 내재된 대칭성을 활용하여 강건한 모델을 구성한다.

실험 결과

연구 질문

• RQ1 비라플라스키안 $\ell_q$-노름 정규화($q \in (0,1)$)의 존재가 라플라스키안 경우와 비교해 최악의 평가 복잡도를 증가시키는가?
• RQ2 홀수차 $p$일 때 $|x|^q$ 항에 대해 고차 테일러 모델을 효과적으로 사용할 수 있으며, 이로 인해 알려진 복잡도 경계 $O(\epsilon^{-(p+1)/p})$ 가 유지되는가?
• RQ3 문제의 부분적으로 분리 가능한 구조를 활용할 경우 평가 복잡도 순서에 영향을 주는가?
• RQ4 타당 집합이 커널 중심이 아니고, 비라플라스키안 항에 대해 테일러 모델을 사용할 경우 복잡도 경계는 어떻게 되는가?
• RQ5 비라플라스키안 항을 직접 하위문제에 모델링할 경우, 테일러 전개로 근사하는 대신 복잡도 경계를 유지할 수 있는가?

주요 결과

• 알고리즘은 $p$가 홀수인 $p$-차 모델을 사용할 때 $O(\epsilon^{-(p+1)/p})$의 평가 복잡도 경계를 확보하며, 순수하게 라플라스키안 문제의 경우와 동일한 복잡도를 달성한다.
• 커널 중심 타당 집합 가정 하에서 테일러 모델을 사용할 경우 비라플라스키안 $\ell_q$-노름 정규화 항이 존재하더라도 복잡도 경계가 유지된다.
• 부분적으로 분리 가능한 구조는 복잡도 순서에 영향을 주지 않으며, 고차 도함수 텐서의 효율적 활용이 가능하다.
• 비라플라스키안 모델을 사용할 경우 타당 집합이 커널 중심이 아니어도 동일한 복잡도 경계가 유지되지만, 일반적으로 경계는 더 떨어진다.
• 이면 모델 $T_{|\cdot|^q,p}(x_i, s_i)$는 $p$가 홀수일 때 대칭적이며 $|x_i + s_i|^q$의 타당한 과대추정을 제공하여 부드러운 함수가 필요 없도록 한다.
• 짝수차 모델을 $|x|^q$에 사용할 경우 특이점 근처에서 정규화 요구가 무한히 증가하여 복잡도가 악화되므로 문제가 발생하며, 이에 따라 홀수차 모델이 필수적이다.