[論文レビュー] Self-scaled bounds for atomic cone ranks: applications to nonnegative rank and cp-rank

Hamza Fawzi, Pablo A. Parrilo|DSpace@MIT (Massachusetts Institute of Technology)|Apr 11, 2014

Mathematical Inequalities and Applications被引用数 3

ひとこと要約

本稿では、和集合の平方和緩和を用いた半正定値計画法により、非負ランクおよびcpランクのより緊密な下界を導出するための、新しい自己スケーリング原子ノルムフレームワークを提案する。この手法により、スケーリングに対して不変であり、従来のノルムベースの下界を改善する下界が得られ、部分加法性や対角スケーリング不変性といった構造的性質を継承する。

ABSTRACT

The nonnegative rank of a matrix A is the smallest integer r such that A can be written as the sum of r rank-one nonnegative matrices. The nonnegative rank has received a lot of attention recently due to its application in optimization, probability and communication complexity. In this paper we study a class of atomic rank functions defined on a convex cone which generalize several notions of "positive" ranks such as nonnegative rank or cp-rank (for completely positive matrices). The main contribution of the paper is a new method to obtain lower bounds for such ranks which improve on previously known bounds. Additionally the bounds we propose can be computed by semidefinite programming. The idea of the lower bound relies on an atomic norm approach where the atoms are self-scaled according to the vector (or matrix, in the case of nonnegative rank) of interest. This results in a lower bound that is invariant under scaling and that is at least as good as other existing norm-based bounds. We mainly focus our attention on the two important cases of nonnegative rank and cp-rank where our bounds satisfying interesting properties: For the nonnegative rank we show that our lower bound can be interpreted as a non-combinatorial version of the fractional rectangle cover number, while the sum-of-squares relaxation is closely related to the Lovász theta number of the rectangle graph of the matrix. We also prove that the lower bound inherits many of the structural properties satisfied by the nonnegative rank such as invariance under diagonal scaling, subadditivity, etc. We also apply our method to obtain lower bounds on the cp-rank for completely positive matrices. In this case we prove that our lower bound is always greater than or equal the plain rank lower bound, and we show that it has interesting connections with combinatorial lower bounds based on edge-clique cover number.

研究の動機と目的

• 非負ランクやcpランクなどのアトム的ランク関数の、より緊密でスケーラブルな下界を開発すること。
• 最適化、通信複雑性、統計における重要な量である非負ランクの有効な下界を計算する課題に取り組むこと。
• 自己スケーリング原子ノルムフレームワークを通じて、既存のノルムベースおよび組合せ的下界を統一的かつ一般化すること。
• 下界が和集合の平方和緩和を用いた半正定値計画法により計算可能であることを保証すること。
• 新しい下界に対して、対角スケーリング不変性や部分加法性といった理論的性質を確立すること。

提案手法

• 入力行列またはベクトルに応じてアトムをスケーリングする自己スケーリング原子ノルムアプローチを提案し、スケーリング変換に対して不変性を確保する。
• 原子ノルムに基づく下界関数 τ₊(A) を定義し、ランク1の非負行列の凸結合の下で最小化する。
• 非凸な原子ランク最小化問題を扱いやすい半正定値計画問題に変換するために、和集合の平方和（SOS）緩和を用いる。
• ブロック構造を持つ正定値行列制約を用いて、自己スケーリング下界を捉えるSDP緩和 τ₊^sos(A) を導出する。
• ブロック対角行列の構造を活用して、直和演算における下界の部分加法性および加法性を証明する。
• グラフ理論的解釈を通じて、SOS緩和を既知の組合せ的下界（例えば、Lovász ϑ数や分数的長方形被覆数）と結びつける。

実験結果

リサーチクエスチョン

• RQ1 自己スケーリング原子ノルムフレームワークは、従来のノルムベース手法よりも緊密で、より不変性を持つ非負ランクの下界を導出できるか？
• RQ2 提案された下界は、分数的長方形被覆数やエッジクリーク被覆数といった組合せ的下界とどのように関係しているか？
• RQ3 新しい下界が、部分加法性や対角スケーリング不変性といった構造的性質をどの程度継承しているか？
• RQ4 原子ノルムの和集合の平方和緩和は、効率的に計算可能であり、既知のSDP緩和と同等であることが示せるか？
• RQ5 行列の長方形グラフの文脈において、新しい下界とLovász ϑ数の関係は何か？

主な発見

• 提案された自己スケーリング下界 τ₊(A) は、非負ランクの他のノルムベース下界よりも常に大きくない。
• 下界 τ₊(A) は、行列 A の対角スケーリングに対して不変であり、行と列が正の重みでスケーリングされても値が変わらない。
• 和集合の平方和緩和 τ₊^sos(A) が、行列 A の長方形グラフのLovász ϑ数と等価であることが示された。これにより、既知の組合せ的下界と結びついた。
• 非負ランクに関して、下界 τ₊(A) は分数的長方形被覆数の非組合せ的変種として解釈できる。
• 下界 τ₊(A) は部分加法的である：τ₊(A ⊕ B) = τ₊(A) + τ₊(B) が成り立ち、SOS緩和 τ₊^sos(A) 同様に同様の性質が成り立つ。
• cpランクに関して、下界 τ₊(A) は常に通常のランク以上であり、行列のサポートグラフのエッジクリーク被覆数と関連している。