[논문 리뷰] Unit balls of constant volume: which one has optimal representation?

Jean B. Lasserre|arXiv (Cornell University)|2014. 08. 06.

Advanced Optimization Algorithms Research참고 문헌 14인용 수 3

한 줄 요약

이 논문은 단위 부피를 가진 동차 다항식의 하위레벨 집합을 갖는 짝수 차수 $d$의 다항식 중에서 계수 표현이 가장 희박하거나 가장(compact)한 것을 조사한다. $\ell_1$-노름을 최소화하면 $L_d$-노름 다항식 $\sum x_i^d$가 최적이고 희박한 해를 얻는다; 반면 $\ell_2$-노름을 최소화하면 모든 계수가 비영인 밀도 높은 다항식이 나오며, 이는 기하학적 최적화 맥락에서 $\ell_1$과 $\ell_2$ 정규화 간의 근본적인 차이를 드러낸다.

ABSTRACT

In the family of unit balls with constant volume we look at the ones whose algebraic representation has some extremal property. We consider the family of nonnegative homogeneous polynomials of even degree $d$ whose sublevel set $\G=\{\x: g(\x)\leq 1\}$ (a unit ball) has same fixed volume and want to find in this family the one that minimizes either the $\ell_1$-norm or the $\ell_2$-norm of its vector of coefficients. Equivalently, among all degree-$d$ polynomials of constant $\ell_1-$ or $\ell_2$-norm, which one minimizes the volume of its level set $\G$. We first show that in both cases this is a convex optimization problem with a unique optimal solution $g^*_1$ and $g^*_2$ respectively. We also show that $g^*_1$ is the $L_p$-norm polynomial $\x\mapsto\sum_{i=1}^n x_i^{p}$, thus recovering a parsimony property of the $L_p$-norm via $\ell_1$-norm minimization. (Indeed $n=\Vert g^*_1\Vert_0$ is the minimum number of non-zero coefficient for $\G$ to have finite volume.) This once again illustrates the power and versatility of the $\ell_1$-norm relaxation strategy in optimization when one searches for an optimal solution with parsimony properties. Next we show that $g^*_2$ is not sparse at all (and so differs from $g^*_1$) but is still a sum of $p$-powers of linear forms. We also characterize the unique optimal solution of the same problem where one searches for an SOS homogeneous polynomial that minimizes the trace of its associated (psd) Gram matrix, hence aiming at finding a solution which is a sum of a few squares only. Finally, we also extend these results to generalized homogeneous polynomials, which includes $L_p$-norms when $0

연구 동기 및 목표

• 고정된 단위 부피 하위레벨 집합을 가진 비음수 동차 다항식 중에서 계수 벡터의 $\ell_1$- 또는 $\ell_2$-노름을 최소화하는 다항식을 결정하는 것.
• 모르는 희박성의 $L_d$-노름 단위구 $\sum x_i^d \leq 1$를 $\ell_1$-노름 완화가 회복할 수 있는지 조사하는 것.
• $\ell_1$ 및 $\ell_2$ 최소화 하에서 최적 해의 구조적 성질, 특히 희박성과 계수 분포를 분석하는 것.
• 일반화된 동차 다항식, 특히 $0 < p \in \mathbb{Q}$인 유리수 $L_p$-노름을 포함하여 결과를 확장하는 것.
• 합의 제곱(SOS)으로 제한된 경우, 단위구의 모멘트와 그 그램 행렬의 추적을 기반으로 최적 해를 특성화하는 것.

제안 방법

• 문제를 볼록 최적화 문제로 재구성: $g \in \text{Hom}_d$ 에 대해 $\|g\|_1$ 또는 $\|g\|_2$ 를 최소화하면서 $\text{vol}(\{\mathbf{x} : g(\mathbf{x}) \leq 1\}) = 1$ 을 만족하는 것.
• 동차성과 감마 함수를 통한 적분 표현을 이용해 하위레벨 집합의 부피 및 일반화된 모멘트를 표현하는 것.
• 라그랑주 승수법을 적용하여 최적성 조건 유도: $g^*_{\alpha} \propto \int_{\mathbf{G}^*} |\mathbf{x}|^\alpha \, d\mathbf{x}$ 로 계수와 모멘트를 연결하는 것.
• 계면 집합 위에서 $\ell_2$-노름과 $\ell_1$-노름의 엄격한 볼록성에 의해 최적 해의 유일성을 증명하는 것.
• 합의 제곱(SOS) 케이스의 최적 해를 그라함 행렬의 추적을 최소화함으로써 특성화하는 것.
• 공통 분모를 사용해 $\mathbb{Z}_q$-동차 형식을 정의함으로써 유리수 지수를 가진 일반화된 다항식으로 결과를 확장하는 것.

실험 결과

연구 질문

• RQ1 고정된 부피의 단위구에 대해 계수 벡터의 $\ell_1$-최소화가 희박한 $L_d$-노름 다항식 $\sum x_i^d$ 를 최적 표현으로 회복하는가?
• RQ2 $\ell_2$-최소화 하에서의 최적 해는 희박성 측면에서 $\ell_1$-최적 해와 어떻게 비교되는가?
• RQ3 $\ell_1$-완화 전략이 비볼록인 $\ell_0$-최소화 문제(비영인 계수의 수를 최소화하는 문제)를 효과적으로 근사할 수 있는가?
• RQ4 합의 제곱(SOS)으로 제한된 경우 최적 다항식의 구조는 어떠한가? 그리고 그라함 행렬의 추적을 최소화하는 것이 희박성과 어떻게 관련되는가?
• RQ5 결과가 $0 < p \in \mathbb{Q}$인 일반화된 동차 다항식, 특히 유리수 $L_p$-노름으로 어떻게 확장되는가?

주요 결과

• 고정된 부피 조건 하에서 $\ell_1$-노름을 최소화하는 유일한 해는 $L_d$-노름 다항식 $g^*_1(\mathbf{x}) = \sum_{i=1}^n x_i^d$ 이며, 이는 $\ell_0$-노름의 최소 가능한 값인 $n$ 을 달성한다.
• $\ell_1$-최소화 문제의 해는 볼록 문제이며 유일한 해를 가지며, 이는 $\ell_1$-완화가 희박한 표현을 성공적으로 회복함을 확인한다.
• $\ell_2$-최소화 문제의 해는 유일한 해 $g^*_2$ 를 가지며, 이는 희박하지 않다. 모든 계수 $g^*_{\alpha}$ 는 비영이므로, 일반화된 모멘트가 0이 아님을 통해 확인된다.
• $\ell_2$-케이스에서 최적 해는 $g^*_{\alpha} \propto \int_{\mathbf{G}^*} |\mathbf{x}|^\alpha \, d\mathbf{x}$ 를 만족하며, 모든 모멘트가 비영이므로 계수의 전체 지원이 존재함을 의미한다.
• SOS 제약 조건이 있는 최적 해는 그라함 행렬의 추적을 최소화함으로써, 최소 복잡도를 가진 합의 제곱 형태의 해를 이룬다.
• 유리수 지수를 가진 일반화된 동차 다항식의 경우, $\ell_1$-최소화 결과가 그대로 유지된다: 최소 $\ell_1$-노름은 여전히 $n$ 이며, 이는 $\sum |x_i|^d$ 에서만 달성되며, 다른 일반화된 다항식은 유한한 부피 조건 하에서 더 작은 $\ell_1$-노름을 달성할 수 없다.