[論文レビュー] A Short Note on Concentration Inequalities for Random Vectors with SubGaussian Norm

Chi Jin, Praneeth Netrapalli+3 more|arXiv (Cornell University)|Feb 11, 2019

Point processes and geometric inequalities参考文献 2被引用数 51

ひとこと要約

このノートは norm-subGaussian random vectors (nSG) を導入し、ノルムの集中に焦点を当てたとき標準の subGaussian bounds よりも改善する厳密な集中境界を証明し、結果は対数因子まで厳密である。

ABSTRACT

In this note, we derive concentration inequalities for random vectors with subGaussian norm (a generalization of both subGaussian random vectors and norm bounded random vectors), which are tight up to logarithmic factors.

研究の動機と目的

• ノルムが厳密に集中する一方で、各射影が subGaussian であるとは限らないランダムベクトルの集中の研究を動機づける。
• norm-subGaussian random vectors (nSG) を、subGaussian と bounded-norm の両方を含む自然な一般化として定義する。
• 同値な特徴付けを確立し、次元の対数因子まで subGaussian bounds に一致するベクトル集中境界を導出する。

提案手法

• norm-subGaussian (nSG) の定義を導入し、subGaussian および bounded-norm ベクトルを包含することを示す。
• 尾部、モーメント、および super-exponential moment bound を用いた nSG の同値な特徴付けを証明する。
• norm-based MGF を扱うために Y-matrix を用いた matrix-MGF ベースのアプローチを開発し、Lieb の concavity 定理を適用する。
• 条件付きバージョン（random または fixed sigma）における独立な nSG ベクトル和の主な集中境界を導出する。
• 一般的な境界を特化して Hoeffding-type 不等式と、次元依存性が対数的である二ケース境界を得る。

実験結果

リサーチクエスチョン

• RQ1 ノルム自体の集中を捉えるために、norm-subGaussian ベクトルをどのように定義・特徴付けできるか。
• RQ2 ランダムな subGaussian パラメータやデータ依存のパラメータを含む可能性のある norm-subGaussian ベクトルの和に対して、どのような集中境界を確立できるか。
• RQ3 これらの境界が従来の subGaussian 境界とどのように比較されるか、特に次元依存性について。
• RQ4 ベクトル設定に対して Hoeffding の不等式に類似した実用的な系統を導出できるか。

主な発見

• Norm-subGaussian vectors (nSG) は subGaussian と bounded-norm ベクトルの両方を一般化し、σ というパラメータに依存する集中境界を持つ。
• nSG の尾部、モーメント、super-exponential moment bound に関する同値な特徴付けが、絶対定数まで存在する。
• X が zero-mean nSG(σ) のとき、||X||^2 は subexponential であり、任意の固定単位射影 ⟨v,X⟩ は subGaussian である。
• Y マトリクスを用いた matrix-MGF の特徴付けにより、Lieb の concavity 定理を適用して nSG ベクトルの和の境界を得る。
• 一般的な集中境界（Lemma 6）は ∥sum Xi∥ を σi^2 の和と log(2d/δ) の項を含む項で界を設け、確率的保証を与える。
• Corollaries は固定の σi に対する Hoeffding-type 不等式と、総分散和が大きくなる可能性を考慮した結合境界を提供し、いずれも次元の対数依存性を伴う。