[論文レビュー] Unit balls of constant volume: which one has optimal representation?

Jean B. Lasserre|arXiv (Cornell University)|Aug 6, 2014

Advanced Optimization Algorithms Research参考文献 14被引用数 3

ひとこと要約

本稿は、単位体積の部分レベル集合を持つ偶数次の斉次多項式の中で、係数表現が最もスパースまたはコンパクトなものを特定することを目的としている。$ε_1$-ノルムを最小化すると、$L_d$-ノルム多項式 $∑ x_i^d$ が最適かつスパースな解として得られることを示している。一方、$ε_2$-ノルムを最小化すると、すべての係数が非ゼロの密集した多項式が得られ、幾何的最適化の文脈において$ε_1$と$ε_2$正則化の根本的な違いが浮き彫りになる。

ABSTRACT

In the family of unit balls with constant volume we look at the ones whose algebraic representation has some extremal property. We consider the family of nonnegative homogeneous polynomials of even degree $d$ whose sublevel set $\G=\{\x: g(\x)\leq 1\}$ (a unit ball) has same fixed volume and want to find in this family the one that minimizes either the $\ell_1$-norm or the $\ell_2$-norm of its vector of coefficients. Equivalently, among all degree-$d$ polynomials of constant $\ell_1-$ or $\ell_2$-norm, which one minimizes the volume of its level set $\G$. We first show that in both cases this is a convex optimization problem with a unique optimal solution $g^*_1$ and $g^*_2$ respectively. We also show that $g^*_1$ is the $L_p$-norm polynomial $\x\mapsto\sum_{i=1}^n x_i^{p}$, thus recovering a parsimony property of the $L_p$-norm via $\ell_1$-norm minimization. (Indeed $n=\Vert g^*_1\Vert_0$ is the minimum number of non-zero coefficient for $\G$ to have finite volume.) This once again illustrates the power and versatility of the $\ell_1$-norm relaxation strategy in optimization when one searches for an optimal solution with parsimony properties. Next we show that $g^*_2$ is not sparse at all (and so differs from $g^*_1$) but is still a sum of $p$-powers of linear forms. We also characterize the unique optimal solution of the same problem where one searches for an SOS homogeneous polynomial that minimizes the trace of its associated (psd) Gram matrix, hence aiming at finding a solution which is a sum of a few squares only. Finally, we also extend these results to generalized homogeneous polynomials, which includes $L_p$-norms when $0

研究の動機と目的

• 固定された単位体積の部分レベル集合を持つ非負の偶数次斉次多項式の中で、その係数ベクトルの$\ell_1$-または$\ell_2$-ノルムを最小化するものを探す。
• 特定の$\ell_1$-ノルムの緩和が、既知のスパarsityを持つ$L_d$-ノルム単位球体$\sum x_i^d \leq 1$を回復できるかを調査する。
• $\ell_1$および$\ell_2$最小化における最適解の構造的性質、特にスパarsityと係数分布を分析する。
• 一般化された斉次多項式、特に$0 < p \in \mathbb{Q}$の有理数$p$に対する$L_p$-ノルムに一般化する。
• 特に、和の平方（SOS）に制限した場合、最適解を単位球体のモーメントおよびそのグラム行列のトレースの観点から特徴づける。

提案手法

• 問題を凸最適化問題として定式化：$g \in \text{Hom}_d$ に対して、$\text{vol}(\{\mathbf{x} : g(\mathbf{x}) \leq 1\}) = 1$ を満たす条件下で$\|g\|_1$ または $\|g\|_2$ を最小化する。
• ガンマ関数による積分表現を用いて、斉次性と部分レベル集合の体積および一般化モーメントを表現する。
• ラグランジュ乗数法を適用し、最適性条件 $g^*_{\alpha} \propto \int_{\mathbf{G}^*} |\mathbf{x}|^\alpha \, d\mathbf{x}$ を導出。これにより、係数とモーメントが結びつけられる。
• 係数空間における$\ell_2$-ノルムおよび$\ell_1$-ノルムの強凸性を用いて、最適解の一意性を証明する。
• 和の平方（SOS）の場合、関連するグラム行列のトレースを最小化することで最適解を特徴付ける。
• 共通分母を用いて$\mathbb{Z}_q$-斉次形式を定義することで、有理数指数を用いた一般化多項式への結果の拡張を行う。

実験結果

リサーチクエスチョン

• RQ1 固定体積の単位球体に対して、係数ベクトルの$\ell_1$-最小化は、スパースな$L_d$-ノルム多項式$\sum x_i^d$ を最適表現として回復できるか？
• RQ2 $\ell_2$-最小化における最適解は、$\ell_1$-最適解と比較して構造的にどのように異なるか、特にスパarsityの観点から。
• RQ3 $\ell_1$-緩和戦略は、非凸な$\ell_0$-最小化問題（非ゼロ係数の個数を最小化）を効果的に近似できるか？
• RQ4 和の平方（SOS）に制限した場合の最適多項式の構造は何か？また、グラム行列のトレースを最小化することはスパarsityとどのように関係するか？
• RQ5 結果は、有理数$p$を用いた一般化された斉次多項式、特に$0 < p \in \mathbb{Q}$の$L_p$-ノルムにどのように拡張できるか？

主な発見

• 固定体積条件下での$\ell_1$-ノルムの唯一の最小化子は、$L_d$-ノルム多項式 $g^*_1(\mathbf{x}) = \sum_{i=1}^n x_i^d$ であり、$\ell_0$-ノルムの最小値$n$を達成する。
• $\ell_1$-最小化問題は凸であり、一意な解を持つ。これにより、$\ell_1$-緩和がスパースな表現を正しく回復できることを確認する。
• $\ell_2$-最小化問題は一意な解 $g^*_2$ を持ち、これはスパースでない。非ゼロの一般化モーメントにより、すべての係数 $g^*_{\alpha}$ が非ゼロであることが示される。
• $\ell_2$-ケースでは、最適解が $g^*_{\alpha} \propto \int_{\mathbf{G}^*} |\mathbf{x}|^\alpha \, d\mathbf{x}$ を満たし、すべてのモーメントが非ゼロであるため、係数のサポートが完全である。
• SOS制限付き問題の最適解は、関連するグラム行列のトレースを最小化することで得られ、最小の複雑性を持つ和の平方の形を取る。
• 有理数指数を用いた一般化された斉次多項式に対しても、$\ell_1$-最小化の結果は拡張可能である。最小$\ell_1$-ノルムは依然$n$であり、これは$\sum |x_i|^d$ のみが達成可能で、他の一般化多項式では有限体積条件下でより小さい$\ell_1$-ノルムは達成できない。