[論文レビュー] Convex relaxations of structured matrix factorizations

Francis Bach|arXiv (Cornell University)|Sep 12, 2013

Sparse and Compressive Sensing Techniques参考文献 49被引用数 28

ひとこと要約

本稿では、ゲージ関数とその極を計算する問題として定式化することにより、構造的行列因子分解の凸緩和フレームワークを提案する。これにより、半正定値計画法と反復的条件勾配法を用いて多項式時間のアルゴリズムと近似保証を得られる。主な貢献は、不正確なオракルおよび乗法的近似誤差を許容する新たな反復的ベースプルーリングアルゴリズムであり、収束保証が与えられる。

ABSTRACT

We consider the factorization of a rectangular matrix $X $ into a positive linear combination of rank-one factors of the form $u v^ op$, where $u$ and $v$ belongs to certain sets $\mathcal{U}$ and $\mathcal{V}$, that may encode specific structures regarding the factors, such as positivity or sparsity. In this paper, we show that computing the optimal decomposition is equivalent to computing a certain gauge function of $X$ and we provide a detailed analysis of these gauge functions and their polars. Since these gauge functions are typically hard to compute, we present semi-definite relaxations and several algorithms that may recover approximate decompositions with approximation guarantees. We illustrate our results with simulations on finding decompositions with elements in $\{0,1\}$. As side contributions, we present a detailed analysis of variational quadratic representations of norms as well as a new iterative basis pursuit algorithm that can deal with inexact first-order oracles.

研究の動機と目的

• 非凸性と収束保証の欠如という構造的行列因子分解（例：非負性やスパarsityを含む行列因子分解）の問題に対処する。
• 非負行列因子分解（NMF）やスパースPCAなどのさまざまな構造的因子分解問題を、ゲージ関数に基づく共通の凸フレームワークで統一する。
• ゲージ関数とその極の計算に定数倍近似保証を備えた計算可能な半正定値計画法緩和を提供する。
• 不正確な一次オラクルを扱える反復的条件勾配アルゴリズムを設計し、ややいなごろしの仮定のもとで線形収束を保証する。
• ノルムおよびゲージ関数の変分的二次表現を分析し、対角型および回転不変型の条件を含む。

提案手法

• 行列を表すために必要な最小の正の組み合わせとしてのゲージ関数を用いて、ランク1の因子の凸集合上での最小化問題として構造的行列因子分解を定式化する。
• ゲージ関数の極を用いて双対問題と緩和技術を導出し、因子分解空間における凸最適化を可能にする。
• 特に回転不変型および対角型のケースにおいて、ゲージ関数とその極の定数倍近似保証を持つ半正定値計画法緩和を導入する。
• 不正確なオラクルを許容する新たな反復的ベースプルーリングアルゴリズムを設計し、部分勾配計算における乗法的誤差を許容しながら収束性を維持する。
• ゲージ関数の変分的表現を、二次形式の最小値および最大値として定式化し、双対性に基づく解析とアルゴリズム設計を可能にする。
• 最小および最大の二次表現を通じて、ゲージ関数の下界と上界の双対性を活用し、対角型および回転不変型のケースにおける条件を確立する。

実験結果

リサーチクエスチョン

• RQ1 非凸制約（例：非負性、スパarsity、離散性）を含む構造的行列因子分解問題は、ゲージ関数を用いて凸最適化に再定式化可能か？
• RQ2 構造的行列因子分解におけるゲージ関数の計算に向けた半正定値計画法緩和の近似保証は何か？
• RQ3 反復的条件勾配法は、不正確なオラクルを扱えるようにどのように拡張可能か？また、収束速度は保たれるか？
• RQ4 ゲージ関数の変分的二次表現が対角型または回転不変型の形を取るための条件は何か？
• RQ5 反復最小化法と比較して、構造的行列因子分解における凸緩和の統計的および計算的トレードオフは何か？

主な発見

• 最適な構造的行列因子分解は、行列のゲージ関数の計算に等しく、その極は双対問題に対応する。
• 半正定値計画法緩和は、特に回転不変型および対角型のケースにおいて、ゲージ関数とその極の定数倍近似保証を提供する。
• 提案された反復的条件勾配アルゴリズムは、極ゲージ関数の計算に乗法的近似誤差が存在する場合でも線形収束を達成する。これは、従来の加法的誤差に限られる研究を拡張する。
• このフレームワークはペナルティ付きベースプルーリング問題をサポートし、近似保証付きの明示的分解の回復を可能にする。
• ノルムおよびゲージ関数の新たな変分的表現が、二次形式の最小値および最大値として確立され、対角型および回転不変型の形を取るための必要十分条件が得られた。
• i.i.d. ガウス分布に従う行を持つランダム行列に対して、ランダムな方向への二乗射影の期待最大値は $\frac{4\log r + 16}{n}$ で有界である。これは収束に関する理論的境界を支持する。