[論文レビュー] Note on sampling without replacing from a finite collection of matrices

David Groß, Vincent Nesme|arXiv (Cornell University)|Jan 15, 2010

Mathematical Analysis and Transform Methods参考文献 13被引用数 64

ひとこと要約

この論文は、以前は復元抽出の下で導出されたランダム行列の和に対する演算子Chernoff型不等式が、有限集合からの非復元抽出に対しても成立することを確立している。古典的なHoeffdingの議論を用いて、著者たちは、非復元抽出における和のモーメント生成関数が、復元抽出におけるそれよりも確率的に支配されることを示し、低ランク行列回復アルゴリズムに不可欠な濃縮不等式が保たれることを示している。

ABSTRACT

This technical note supplies an affirmative answer to a question raised in a recent pre-print [arXiv:0910.1879] in the context of a "matrix recovery" problem. Assume one samples m Hermitian matrices X_1, ..., X_m with replacement from a finite collection. The deviation of the sum X_1+...+X_m from its expected value in terms of the operator norm can be estimated by an "operator Chernoff-bound" due to Ahlswede and Winter. The question arose whether the bounds obtained this way continue to hold if the matrices are sampled without replacement. We remark that a positive answer is implied by a classical argument by Hoeffding. Some consequences for the matrix recovery problem are sketched.

研究の動機と目的

• 非復元抽出では依存性が生じるため、行列回復理論における技術的ギャップを解消すること。
• 独立（復元抽出）の下での既存の濃縮不等式が、非復元抽出の下でも有効であることを示すこと。
• 非復元抽出の設定においても、復元抽出の不等式を安全に使用できる根拠を明確にすることにより、アルゴリズムの解析を簡略化すること。
• 特に量子状態トモグラフィーと低ランク行列再構成の文脈において、演算子ノルムの濃縮に依存する行列回復アルゴリズムの妥当性を裏付けること。

提案手法

• 非復元抽出が復元抽出を支配するという確率的支配に関するHoeffdingの古典的議論を適用する。
• 二段階の確率的化プロセスを介して、非復元抽出から復元抽出のサンプルを生成する確率的関数Zを構築する。
• XとZ(Y)が同一分布に従うという恒等式を用いて、和の関数の期待値を等置する。
• 特に行列指数のトレースに関する凸関数にJensenの不等式を適用する。
• ヘルミート行列c ↦ tr(exp(λc))の凸性を活用し、スカラーの濃縮結果を行列設定に拡張する。
• モーメント生成関数の支配関係を導出：M_Y(λ) ≤ M_X(λ)。これは、復元抽出における尾部不等式が非復元抽出に対しても適用可能であることを示唆する。

実験結果

リサーチクエスチョン

• RQ1 独立なランダム行列の和に対する演算子Chernoff不等式を、非復元抽出の状況に拡張できるか？
• RQ2 復元抽出が非復元抽出を支配するという確率的支配関係が、行列値の和に対する濃縮不等式を保つのか？
• RQ3 実際には非復元抽出が行われているにもかかわらず、非復元抽出の解析において復元抽出の不等式を使用するのは妥当か？
• RQ4 復元抽出と非復元抽出の下での和のモーメント生成関数の関係は何か？
• RQ5 Hoeffdingの古典的確率不等式を行列値の確率的変数に適応することで、非復元抽出下でも濃縮が保たれるか？

主な発見

• 非復元抽出で得られる行列の和のモーメント生成関数は、復元抽出のそれよりも確率的に支配される。
• その結果、AhlswedeとWinterが提示した演算子Chernoff不等式は、非復元抽出に対しても有効である。
• t ≤ 2V/c の場合、Pr[‖S‖ > t] ≤ 2n exp(−t²/(4V)) が成り立ち、t が大きい場合には Pr[‖S‖ > t] ≤ 2n exp(−t/(2c)) が成り立つ。この不等式は両方の抽出方式に対して成立する。
• 非復元抽出の設定においても、サンプリング作用素の演算子ノルムに関する不等式は有効であり、最悪ケースの推定を回避できる。
• 非復元抽出が行われる際の、確率的サンプリングに基づく行列回復アルゴリズムの解析は、復元抽出の不等式を安全に使用できる。
• Gross (2009) のような簡略化された解析フレームワークを、非復元抽出の場合においても一般化を失うことなく使用することが正当化される。