[論文レビュー] Tensor Expander Chernoff Bounds

Shih Yu Chang|arXiv (Cornell University)|May 13, 2021

Tensor decomposition and applications参考文献 22被引用数 4

ひとこと要約

本稿は、対数優勢化に基づくテンソルノルム不等式を用いて、行列の拡張チェルノフ補正をテンソルに一般化し、多項式関数の確率的テンソル和のキーファンノルムに対する尾確率を導出する。ゼロ和制約を撤廃し、多次元データへの集中性を拡張することで、高次元確率的システムに対してより鋭い境界を提供する。

ABSTRACT

The Chernoff bound is an important inequality relation in probability theory. The original version of the Chernoff bound is to give an exponential decreasing bound on the tail distribution of sums of independent random variables. Recent years, several works have been done by extending the original version of the Chernoff bound to high-dimensional random objects, e.g., random matrices, or/and to consider the relaxation that there is no requirement of independent assumptions among random objects. In this work, we generalize the matrix expander Chernoff bound studied by Garg et al. at work: A Matrix Expander Chernoff Bound, to tensor expander Chernoff bounds. Our main tool is to develop new tensor norm inequalities based on log-majorization techniques. These new tensor norm inequalities are used to bound the expectation of Ky Fan norm of the random tensor exponential function, then tensor expander Chernoff bounds can be established. Compared with the matrix expander Chernoff bound, the tensor expander Chernoff bounds proved at this work contributes following aspects: (1) the random objects dimensions are increased from matrices (two-dimensional data array) to tensors (multidimensional data array); (2) this bound generalizes the identity map of the random objects summation to any polynomial function of the random objects summation; (3) Ky Fan norm, instead only the maximum or the minimum eigenvalues, for the function of the random objects summation is considered; (4) we remove the restriction about the summation of all mapped random objects is zero, which is required in the matrix expander Chernoff bound derivation.

研究の動機と目的

• 高次元確率的テンソルへの行列の拡張チェルノフ補正の拡張を図り、多次元データ構造における集中不等式の実現を目的とする。
• キーファンノルムの確率的テンソル指数関数の指数モーメントを制御するため、対数優勢化に基づく新しいテンソルノルム不等式の開発を目的とする。
• 従来の行列ベースの境界で要請されていた確率的テンソル和のゼロ和制約の緩和を目的とする。
• 和の関数を恒等関数から任意の多項式関数に一般化し、複雑なシステムへの適用可能性を高めることを目的とする。
• 拡張グラフを用いた弱い依存性仮定の下でテンソルノルムの尾確率を確立するフレームワークの構築を目的とする。

提案手法

• 対数優勢化技術を用いて、確率的テンソル指数関数のキーファンノルムの期待値を抑え込むための新規テンソルノルム不等式を導出する。
• これらの不等式を、マコフ連鎖的依存性の下で拡張グラフを介してテンソル和のモーメント生成関数を制御するために適用する。
• スペクトルノルムをキーファン k-ノルムに置き換えることで、行列の拡張チェルノフ補正をテンソルに一般化する。
• モーメント生成関数のパラメータ t における最小化を用いて、ガウス積分近似により尾確率を抑え込む。
• 測度の変更技術を用いて、サブガウス近似を用いてテンソル和の分布を抑え込む。
• 正則な拡張グラフ構造の下で、確率的テンソルの和のキーファン k-ノルムに対する尾境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 弱い依存性仮定の下で、行列の拡張チェルノフ補正を確率的テンソルに一般化できるか？
• RQ2 元の確率的対象が独立でない場合、テンソル和のキーファンノルムをどのように抑えられるか？
• RQ3 対数優勢化を用いて、どのようなテンソルノルム不等式が導かれるか？ これにより、テンソル和の指数モーメントを制御できるか？
• RQ4 確率的テンソル和のゼロ和制約を撤廃しても、集中境界を維持できるか？
• RQ5 拡張グラフに基づく依存構造の下で、テンソル和の多項式関数はどのように振る舞うか？

主な発見

• 本稿は、正則な拡張グラフ構造の下で、確率的テンソルの和のキーファン k-ノルムに対するテンソル拡張チェルノフ補正を確立した。
• すべての写像された確率的テンソルの和がゼロでなければならないという要請が撤廃され、従来の行列拡張境界における主要な制限が解消された。
• 対数優勢化に基づく新しいテンソルノルム不等式のクラスが開発され、テンソル和の指数モーメントの制御が可能になった。
• 尾境界は恒等関数に限らず、多項式関数の和に対しても導出されたため、一般性が向上した。
• 最終的な境界はサブガウス尾の形で表され、$\mathrm{Pr}\left(\left\|\sum g(v_j)\right\|_{(k)} \geq \vartheta\right) \leq C\left(k + \sqrt{\frac{\mathbb{I}_1^M - k}{k}}\right) \exp\left(-\frac{\vartheta^2}{8\sigma^2 r^2} + \cdots \right)$ であり、$\kappa$、$\lambda$、$\sigma$ に明示的な依存関係を持つ。
• 関数 $f$ が恒等関数のとき、境界は最も鋭くなり、Corollary 4.5 において洗練されたサブガウス形をとる。