[論文レビュー] Optimal Schatten-q and Ky-Fan-k Norm Rate of Low Rank Matrix Estimation

Dong Xia|arXiv (Cornell University)|Mar 25, 2014

Sparse and Compressive Sensing Techniques参考文献 38被引用数 4

ひとこと要約

本稿は、サブガウス型設計のもとで、行列Dantzig選択子とLASSO推定量を用いて、スチャッテン-qおよびキーファン-kノルムにおける低ランク行列回復の最適推定レートを確立する。スペクトル、スチャッテン-q、キーファン-kノルムに関して、タイトな上界とそれに一致するミニマックス下界（対数要因を除く）を導出しており、$ n \gtrsim Cm[r^2 \vee r\log m\log n] $ 個の標本で最適な回復が可能であることを示している。結果は、グラスマン多様体のメトリックエントロピーおよび経験過程理論に裏打ちされている。

ABSTRACT

In this paper, we consider low rank matrix estimation using either matrix-version Dantzig Selector $\hat{A}_λ^d$ or matrix-version LASSO estimator $\hat{A}_λ^L$. We consider sub-Gaussian measurements, $i.e.$, the measurements $X_1,\ldots,X_n\in\mathbb{R}^{m imes m}$ have $i.i.d.$ sub-Gaussian entries. Suppose $ extrm{rank}(A_0)=r$. We proved that, when $n\geq Cm[r^2\vee r\log(m)\log(n)]$ for some $C>0$, both $\hat{A}_λ^d$ and $\hat{A}_λ^L$ can obtain optimal upper bounds(except some logarithmic terms) for estimation accuracy under spectral norm. By applying metric entropy of Grassmann manifolds, we construct (near) matching minimax lower bound for estimation accuracy under spectral norm. We also give upper bounds and matching minimax lower bound(except some logarithmic terms) for estimation accuracy under Schatten-q norm for every $1\leq q\leq\infty$. As a direct corollary, we show both upper bounds and minimax lower bounds of estimation accuracy under Ky-Fan-k norms for every $1\leq k\leq m$.

研究の動機と目的

• 低ランク行列回復におけるスチャッテン-qおよびキーファン-kノルムの下での推定誤差の最適上界と下界を確立すること。
• サブガウス型測定設計下での行列Dantzig選択子およびLASSO推定量の性能を分析すること。
• グラスマン多様体のメトリックエントロピーを用いて、スペクトルノルム推定の一致するミニマックス下界を構築すること。
• Frobeniusノルムに関する先行結果をより一般的なスチャッテンおよびキーファンノルムへと拡張すること。
• 最適推定に必要な標本量を特定し、$ n \gtrsim Cm[r^2 \vee r\log m\log n] $ が十分であることを示すこと。

提案手法

• サブガウス型測定を伴うトレース回帰モデル下で、行列Dantzig選択子 $ \hat{A}_{\lambda}^{d} $ およびLASSO推定量 $ \hat{A}_{\lambda}^{L} $ を用いる。
• 経験的ノルムが期待値からどれほど逸脱するかを制御するために、経験過程理論およびTalagrand型不等式を適用する。
• メンデルソンおよびアダムツァクの不等式を用いて、低ランク行列によってインdeックス付けられた経験過程の上界を評価する。
• スペクトルノルム推定の一致するミニマックス下界を構築するために、グラスマン多様体のメトリックエントロピーを用いる。
• 測定のサブガウス的挙動を制御するため、線形形式 $ \langle A, X \rangle $ の $ \psi_2 $-ノルムに関する境界を導出する。
• 一般化チェイニングおよびガウス過程の複雑度を用いて、ランク制約集合上での経験過程の期待上界を評価する。

実験結果

リサーチクエスチョン

• RQ1 スチャッテン-qノルム（$ 1 \leq q \leq \infty $）における低ランク行列回復の推定誤差の最適レートは何か？
• RQ2 行列Dantzig選択子およびLASSOは、スチャッテン-qおよびキーファン-kノルム下でミニマックス最適なレートを達成できるか？
• RQ3 スペクトルノルムおよびスチャッテン-qノルム下での最適推定レートを達成するための必要な標本サイズ $ n $ は何か？
• RQ4 推定誤差の上界とミニマックス下界の比較において、特に対数要因の面でどう異なるか？
• RQ5 サブガウス型設計は、追加の構造的仮定なしに最適な回復を可能にするか、その程度はいかほどか？

主な発見

• 行列Dantzig選択子およびLASSOは、$ n \gtrsim Cm[r^2 \vee r\log m\log n] $ の条件下で、対数要因を除き、スペクトルノルム下での推定誤差に対して最適な上界を達成する。
• スチャッテン-qノルム推定に関しては、すべての $ 1 \leq q \leq \infty $ に対して上界と一致するミニマックス下界（対数項を除く）を確立している。
• 直接的な系として、すべての $ 1 \leq k \leq m $ に対して、キーファン-kノルム推定の最適な上界と下界を導出している。
• ミニマックス下界は、グラスマン多様体のメトリックエントロピーを用いて構築され、上界と対数要因を除いて一致しており、MaとWu [17] と同様の性質を示している。
• 分析により、標本複雑度 $ n \gtrsim Cm[r^2 \vee r\log m\log n] $ が、最適なスペクトルノルム推定に十分であることが示されており、Frobeniusノルムのための従来の $ n \gtrsim Cmr $ の境界を改善している。
• 結果は、サブガウス型設計が、追加の構造的仮定なしに最適な回復を可能にすることを確認している。これは、行列補完モデルとは対照的である。