[論文レビュー] Restricted Isometry Property under High Correlations

Shiva Prasad Kasiviswanathan, Mark Rudelson|arXiv (Cornell University)|Apr 11, 2019

Sparse and Compressive Sensing Techniques参考文献 30被引用数 7

ひとこと要約

本稿では、固定された決定的行列 X と確率的行列 R の積 XR によって構築されるハイブリッド行列構築モデルを提案する。X が十分な安定ランクを持つ場合、XR は高確率で制限等長性性質（RIP）を満たす。主な結果として、このような行列が、特に自然言語処理における DisC 埋め込みを用いた効果的な圧縮学習を可能にし、一般化誤差が元のドメインに対して O(√ε) のオーダーで抑えられることを示している。

ABSTRACT

Matrices satisfying the Restricted Isometry Property (RIP) play an important role in the areas of compressed sensing and statistical learning. RIP matrices with optimal parameters are mainly obtained via probabilistic arguments, as explicit constructions seem hard. It is therefore interesting to ask whether a fixed matrix can be incorporated into a construction of restricted isometries. In this paper, we construct a new broad ensemble of random matrices with dependent entries that satisfy the restricted isometry property. Our construction starts with a fixed (deterministic) matrix $X$ satisfying some simple stable rank condition, and we show that the matrix $XR$, where $R$ is a random matrix drawn from various popular probabilistic models (including, subgaussian, sparse, low-randomness, satisfying convex concentration property), satisfies the RIP with high probability. These theorems have various applications in signal recovery, random matrix theory, dimensionality reduction, etc. Additionally, motivated by an application for understanding the effectiveness of word vector embeddings popular in natural language processing and machine learning applications, we investigate the RIP of the matrix $XR^{(l)}$ where $R^{(l)}$ is formed by taking all possible (disregarding order) $l$-way entrywise products of the columns of a random matrix $R$.

研究の動機と目的

• 制限等長性性質（RIP）行列の確率的および決定的構築法の間のギャップを埋めること。
• 固定行列 X と確率的行列 R の積がRIPを満たすための条件を確立すること。
• 自然言語処理における語の分散表現、特に DisC 埋め込みを用いたフレームワークの応用。
• ℓ方向共起特徴から導出される圧縮表現上で訓練された線形分類器の一般化性能を分析すること。
• 線形変換を施した DisC 埋め込みによる圧縮表現が、近似的に最適な分類性能を維持できることを示すこと。

提案手法

• XRモデルを導入：固定された n×p 行列 X と p×d の確率的行列 R の積により、RIPを満たす行列を構築する。
• 安定ランク（sr(X)）を主要な条件として用いる：sr(X) = Ω(k log(d/k)) であれば、サブガウス型 R に対してRIPが成立する。
• さまざまなモデルからの R のRIP解析：サブガウス型、l-独立型、低ランダム性分布。
• ℓ方向列ヘルメート積 R(ℓ) を定義し、DisC 埋め込みにおける語の共起特徴をモデル化する。
• ブロック対角行列 X(ℓ)V(ℓ) として、線形変換を施した DisC 埋め込み V(L) を構築し、文脈情報の統合を可能にする。
• Arora 他 (2018a) の一般化誤差境界を用い、新たなRIP結果と組み合わせることで、圧縮学習を分析する。

実験結果

リサーチクエスチョン

• RQ1 固定された決定的行列 X と確率的行列 R の積 XR が、制限等長性性質（RIP）を満たす可能性はあるか？
• RQ2 R のさまざまな確率的モデルにおいて、XR が高確率でRIPを満たすために必要な X の条件（例：安定ランク）は何か？
• RQ3 提案された XR モデルは、特に自然言語処理における DisC 埋め込みを用いた圧縮学習タスクでどの程度の性能を示すか？
• RQ4 完全な共起ベクトル上で訓練された分類器と比較して、圧縮された DisC 埋め込み上で訓練された線形分類器の一般化誤差は、どのように抑えられるか？
• RQ5 安定ランクは、要素間に高い相関を持つ構造的確率的行列に対してRIPを達成可能にする役割を果たすか？

主な発見

• R が i.i.d. サブガウス型の要素を持つ場合、X の安定ランクが Ω(k log(d/k)) であれば、XR は高確率で (k, ε)-RIP を満たす。
• サブガウス型の場合のタイトネスにより、安定ランクの条件は一般に改善できないことが示された。
• l-独立型 R の場合、ランダムネスを低減でき、O(l) の独立性で十分である。
• ℓ方向共起行列 R(ℓ) の場合、RIP は sr(X(ℓ)) = Ω(k^ℓ τ^{4ℓ}/ε² log(d^ℓ/k)) の安定ランク条件のもとで成立し、ℓ ≥ 3 の場合に適用可能。
• 圧縮された DisC 埋め込み上で訓練された線形分類器の一般化誤差は、fD(ˆϑ) ≤ fD(θ⋆) + O(λα∥θ⋆∥√ε + (1/b)log(1/δ)) で抑えられ、近似的に最適な性能を示す。
• 本フレームワークにより、DisC 埋め込みの線形変換を用いることで、次元削減を実現しながら分類精度を維持する、効果的な圧縮学習が可能になる。