[論文レビュー] On the Restricted Isometry Property of Centered Self Khatri-Rao Products

Alexander Fengler, Peter Jung|arXiv (Cornell University)|May 22, 2019

Sparse and Compressive Sensing Techniques参考文献 20被引用数 5

ひとこと要約

本稿は、独立かつ等方的な列をもつ $n \times N$ のランダム行列の中心化された自己 Khatri-Rao (KR) 積に対して、Restricted Isometry Property (RIP) を確立する。サブガウスィアンまたは球面的列分布の下で、$s \lesssim n^2 / \log^2(eN/n^2)$ のとき、RIP の $s$ 階が高確率で成立することを示す。この結果は、集中不等式およびハンソン＝ホワイツ型の尾部バウンドを用いて、共分散マッチングおよび圧縮センシングの設定におけるロバストな回復保証を導く。

ABSTRACT

In this work we establish the Restricted Isometry Property (RIP) of the centered column-wise self Khatri-Rao (KR) products of $n imes N$ matrix with iid columns drawn either uniformly from a sphere or with iid sub-Gaussian entries. The self KR product is an $n^2 imes N$-matrix which contains as columns the vectorized (self) outer products of the columns of the original $n imes N$-matrix. Based on a result of Adamczak et al. we show that such a centered self KR product with independent heavy tailed columns has small RIP constants of order $s$ with probability at least $1-C\exp(-cn)$ provided that $s\lesssim n^2/\log^2(eN/n^2)$. Our result is applicable in various works on covariance matching like in activity detection and MIMO gain-estimation.

研究の動機と目的

• 独立かつ等方的な列をもつ $n \times N$ のランダム行列の、列方向に中心化された自己 Khatri-Rao 積に対する Restricted Isometry Property (RIP) を確立すること。
• 共分散マッチングおよび MIMO ゲイン推定問題に現れる構造化測定行列へ、RIP の保証を拡張すること。
• 中心化および正規化の下で、重い尾を持つかサブガウスィアンな要素をもつ場合でも、RIP 定数が小さく保たれることを示すこと。
• 非中心化 KR 積に関する予想を解消し、スパースネス $s$ に対して測定数 $n^2$ と線形スケーリングが可能であることを示すこと。
• 構造的で、Kronecker 型の測定行列を用いた圧縮センシングにおける、安定的かつロバストな $\ell_1$-ベースの回復の理論的基盤を提供すること。

提案手法

• 列方向に中心化された自己 Khatri-Rao 積 $\mathcal{A}_i = \kappa(n) \cdot \text{vec}(\mathbf{a}_i \otimes \mathbf{a}_i - \mathbf{I}_n)$ を定義し、ゼロ平均かつ単位ノルムの列を保証する。
• アダムツァクなどによる、二次形式のサブ指数的尾部バウンドの結果を用いて、列の最大ノルムを制御する。
• 凸濃度濃縮性を介してハンソン＝ホワイツ不等式を適用し、高次元における二次形式の逸脱をバウンドする。
• 球面的およびサブガウスィアンなベクトルの凸濃度濃縮性を活用し、KR 積の列のサブ指数的マージナルを保証する。
• チェイングおよびエントロピー積分技術を用いて、RIP 定数 $\delta_s$ の高確率バウンドを導出し、$\delta_s \lesssim \xi^2 \sqrt{s/n^2} \log(eN / (s \sqrt{s/n^2}))$ が得られる。
• 次元に依存しないサブ指数的ノルムバウンドを用いて、$s \lesssim n^2 / \log^2(eN/n^2)$ のとき $\delta_s < 1$ が高確率で成立することを確立する。

実験結果

リサーチクエスチョン

• RQ1 サブガウスィアンまたは球面的列をもつランダム行列の中心化された自己 Khatri-Rao 積に対して、Restricted Isometry Property (RIP) を確立できるか？
• RQ2 RIP が高確率で成立するように、スパースネス $s$ を $n^2$ 測定数に対して最適にスケーリングするにはどうすればよいか？
• RQ3 自己 Khatri-Rao 積を中心化することで、$s \sim n^2 / \log^2(eN/n^2)$ の線形スケーリングが可能となり、先行研究の $s \sim n^2 \log^2 N$ の二次スケーリングを改善できるか？
• RQ4 依存するか球面的要素をもつ構造化ランダム行列に、ハンソン＝ホワイツ不等式を適用して尾部挙動を制御できるか？
• RQ5 凸濃度濃縮性は、KR 積の列のサブ指数的マージナルを保証するために十分か？

主な発見

• 中心化された自己 Khatri-Rao 積 $\mathcal{A} \in \mathbb{R}^{n^2 \times N}$ は、等方的かつサブガウスィアン、または球面的列分布の下で、高確率で $s$ 階の RIP を有する。$s \lesssim n^2 / \log^2(eN/n^2)$ のとき成立する。
• 球面的列では、正規化係数 $\kappa(n) = n/(n-1)$ により、中心化後の列ノルムが保持され、列は次元に依存しないノルムのサブ指数的尾部を満たす。
• RIP 定数 $\delta_s$ は、高確率で $C \xi^2 \sqrt{s/n^2} \log(eN / (s \sqrt{s/n^2}))$ にバウンドされる。ここで $\xi$ は要素の四次モーメントに依存する。
• 本結果は、非中心化 KR 積に関する先行研究の予想を裏付けており、中心化により $n^2$ 測定数に対して $s$ の線形スケーリングが可能であることを示している。
• この分析は、依存する要素（固定集合からの無作為抽出など）を含む、凸濃度濃縮性を満たすより広いクラスのベクトルへも拡張可能である。
• 条件 $n \gtrsim s \log(eN/s)$ の下で、RIP 定数の高確率バウンドは、対数要因を除いて i.i.d. サブガウスィアン行列の既知のバウンドと一致する。