[論文レビュー] Methods for Sparse and Low-Rank Recovery under Simplex Constraints

Ping Li, Syama Sundar Rangapuram+1 more|arXiv (Cornell University)|May 2, 2016

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、単体制約下でのスパarsityを促進するために、逆二乗ℓ₂ノルムに基づく非凸正則化法を提案する。これは、従来のℓ₁正則化が失敗する状況において有効である。本手法は、正規化を伴うℓ₁正則化よりも優れた統計的性能を示し、トレース制約下での低ランク行列回復へ自然に拡張可能であり、圧縮センシング、密度推定、ポートフォリオ最適化、量子トモグラフィーの分野で理論的保証と実証的検証を伴う。

ABSTRACT

The de-facto standard approach of promoting sparsity by means of $\ell_1$-regularization becomes ineffective in the presence of simplex constraints, i.e.,~the target is known to have non-negative entries summing up to a given constant. The situation is analogous for the use of nuclear norm regularization for low-rank recovery of Hermitian positive semidefinite matrices with given trace. In the present paper, we discuss several strategies to deal with this situation, from simple to more complex. As a starting point, we consider empirical risk minimization (ERM). It follows from existing theory that ERM enjoys better theoretical properties w.r.t.~prediction and $\ell_2$-estimation error than $\ell_1$-regularization. In light of this, we argue that ERM combined with a subsequent sparsification step like thresholding is superior to the heuristic of using $\ell_1$-regularization after dropping the sum constraint and subsequent normalization. At the next level, we show that any sparsity-promoting regularizer under simplex constraints cannot be convex. A novel sparsity-promoting regularization scheme based on the inverse or negative of the squared $\ell_2$-norm is proposed, which avoids shortcomings of various alternative methods from the literature. Our approach naturally extends to Hermitian positive semidefinite matrices with given trace. Numerical studies concerning compressed sensing, sparse mixture density estimation, portfolio optimization and quantum state tomography are used to illustrate the key points of the paper.

研究の動機と目的

• 単体制約（非負で総和が1のベクトル）または固定トレースの正定値行列におけるℓ₁正則化の失敗を解消する。
• スパarsityレベルやランクの事前知識を必要とせず、統計的に整合性のある適応的アプローチを構築する。
• ℓ₁正則化後にヒューリスティックな正規化を施す手法の統計的一致性の欠如を補う理論的根拠を提供する。
• 量子状態トモグラフィーなどの応用分野におけるトレースおよび正定値性制約下での低ランク行列回復へフレームワークを自然に拡張する。

提案手法

• 単体制約下でのスパarsityを促進するため、負の二乗ℓ₂ノルムに基づく非凸正則化子を提案し、凸性の制限を回避する。
• 経験的リスク最小化（ERM）として最適化問題を定式化し、スパarsity誘導ペナルティを課した後、最終的なスパarsityを達成するためにしきい値処理を実施する。
• 単体への射影を用いて、正則化問題の閉形式解を導出する。行列の場合には固有値分解を活用する。
• 集中不等式を用いて、ノイズ下での真のサポートの高確率回復を確立し、固有値の摂動に対する境界を導出する。
• シュレーディンガーノルムの双対性を応用して行列の場合に適用し、トレースおよび正定値性制約下で射影最小二乗問題と同等であることを示す。
• 二段階手順を実装する：まず正則化問題を解き、その後で小さな要素をしきい値処理してスパarsityを強制する。これにより、ℓ₁正則化に依存しない。

実験結果

リサーチクエスチョン

• RQ1 なぜℓ₁正則化は単体制約下でスパarsityを促進できないのか。その統計的結果は何か。
• RQ2 単体制約下で効果的にスパarsityを促進しつつ、理論的に整合性を持つ非凸正則化子を構築可能か。
• RQ3 経験的リスク最小化に続くしきい値処理は、ℓ₁正則化後に正規化を施す手法と比較して、推定誤差および予測誤差の観点でどのように優れているか。
• RQ4 ノイズが存在する状況で、提案手法が真のサポートを高確率で回復するための理論的条件は何か。
• RQ5 量子状態トモグラフィーなどの応用分野におけるトレースおよび正定値性制約下での低ランク行列回復へ、このフレームワークを自然に拡張可能か。

主な発見

• 理論的分析により、経験的リスク最小化に続くしきい値処理は、正規化を伴うℓ₁正則化よりも予測誤差およびℓ₂推定誤差の観点で優れていることが示された。
• 単体制約下でのスパarsity誘導正則化子は、すべてが凸であることは不可能であり、本稿で提案する逆ℓ₂ノルムペナルティのような非凸代替手法の必要性を裏付けた。
• 真のパラメータの最小非ゼロ成分が、ノイズ分散と標本サイズに依存する閾値を超える場合、本手法は高確率で正確なサポート回復を達成する。
• 行列の場合、類似の条件下でランクの一貫性が保証され、集中不等式を用いて固有値の摂動に対する理論的境界が導出された。
• 数値実験により、圧縮センシング、スパース混合密度推定、ポートフォリオ最適化、量子状態トモグラフィーにおいて、標準的なℓ₁ベース手法よりも優れた性能を確認した。
• 本手法は未知のスパarsityレベルに適応可能であり、ハイパーパrameterの調整が最小限で済む。正則化パrameter λ はノイズレベルと問題次元に基づいて選択される。