[論文レビュー] T product Tensors Part I: Inequalities

Shih Yu Chang, Yimin Wei|arXiv (Cornell University)|Jul 13, 2021

Tensor decomposition and applications参考文献 23被引用数 4

ひとこと要約

この論文は、T積テンソルにおける基礎的な不等式を確立し、トレース関数の単調性、ゴールデン＝トムプソン、ジェンセン、クラインの不等式を含み、Liebの凹性定理をT積テンソルへ一般化する。また、固エントルプルのCourant-Fischer定理を導入し、独立な自己共役T積テンソルの和の最大固エントルプルおよび固有値に対するマスター型テイルバウンドを導出し、第II部における新しいチェルノフ型およびベルヌーイ型バウンドの実現を可能にする。

ABSTRACT

The T product operation between two three order tensors was invented around 2011 and it arises from many applications, such as signal processing, image feature extraction, machine learning, computer vision, and the multiview clustering problem. Although there are many pioneer works about T product tensors, there are no works dedicated to inequalities associated with T product tensors. In this work, we first attempt to build inequalities at the following aspects: (1) trace function nondecreasing and convexity; (2) Golden Thompson inequality for T product tensors; (3) Jensen T product inequality; (4) Klein T product inequality. All these inequalities are related to generalize celebrated Lieb concavity theorem from matrices to T product tensors. This new version of Lieb concavity theorem under T product tensor will be used to determine the tail bound for the maximum eigenvalue induced by independent sums of random Hermitian T product, which is the key tool to derive various new tail bounds for random T product tensors. Besides, Qi et. al introduces a new concept, named eigentuple, about T product tensors and they apply this concept to study nonnegative (positive) definite properties of T product tensors. The final main contribution of this work is to develop the Courant Fischer Theorem with respect to eigentuples, and this theorem helps us to understand the relationship between the minimum eigentuple and the maximum eigentuple. The main content of this paper is Part I of a serious task about T product tensors. The Part II of this work will utilize these new inequalities and Courant Fischer Theorem under T product tensors to derive tail bounds of the extreme eigenvalue and the maximum eigentuple for sums of random T product tensors, e.g., T product tensor Chernoff and T product tensor Bernstein bounds.

研究の動機と目的

• T積テンソルのための不等式理論を包括的に構築し、古典的な行列不等式をテンソル設定へ拡張すること。
• Liebの凹性定理をT積テンソルへ一般化し、ランダムT積テンソルの非線形関数の解析を可能にすること。
• 固エントルプルのためのCourant-Fischer定理を確立し、T積テンソルの最小および最大固エントルプルを特徴付けること。
• 独立なランダム自己共役T積テンソルの和の極値固有値および固エントルプルに関するテイルバウンドを導く理論的基盤を構築すること。
• 第II部の基盤を提供し、ここで開発された不等式および定理を用いてT積テンソルのチェルノフおよびベルヌーイ型バウンドを導出すること。

提案手法

• T積テンソルのトレースをf対角成分の和として定義し、連続的実関数の下でのトレース関数の単調性および凸性を証明する。
• 自己共役T積テンソルに対するゴールデン＝トムプソン不等式を証明する：Tr(exp(𝒞 + 𝒟)) ≤ Tr(exp(𝒞) ⋆ exp(𝒟)) に対して 𝒞, 𝒟 ∈ ℂ^{m×m×p} が成り立つ。
• T凸関数fおよび直交T積テンソルフレームに対して、ジェンセンのT積不等式を確立する：f(∑ᵢ 𝒞ᵢᴴ ⋆ 𝒳ᵢ ⋆ 𝒞ᵢ) ⪯ ∑ᵢ 𝒞ᵢᴴ ⋆ f(𝒳ᵢ) ⋆ 𝒞ᵢ が ∑ᵢ 𝒞ᵢᴴ ⋆ 𝒞ᵢ = 𝒫 を満たす条件下で成り立つ。
• 古典的クライン不等式をT積テンソル設定へ一般化するクラインのT積不等式を証明する。
• T積テンソルの固エントルプルの概念を導入し、最小固エントルプルを用いたT正定値（半正定値）性の定義を行う。
• T積テンソルのためのCourant-Fischer型定理を確立し、k番目に大きな固エントルプルをテンソル空間のk次元部分空間上の最小最大化として特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 ゴールデン＝トムプソンやジェンセンの古典的行列不等式は、どのようにT積テンソルフレームワークへ一般化できるか？
• RQ2 Liebの凹性定理はT積テンソルへ拡張可能か？その結果、ランダムT積テンソルの解析にどのような影響を及えるか？
• RQ3 T積テンソルの最小および最大固エントルプルの関係は何か？また、極値原理を用いてどのように特徴付けられるか？
• RQ4 Courant-Fischer定理はT積テンソルへどのように適合され、極値固エントルプルを記述できるか？
• RQ5 開発された不等式を用いて、独立なランダム自己共役T積テンソルの和の最大固エントルプルおよび固有値に対するどのようなテイルバウンドが得られるか？

主な発見

• T積テンソルに対して、fが非減少または凸関数であるとき、トレース関数Tr(f(𝒞))はそれぞれ非減少および凸関数である。
• 自己共役T積テンソルに対してゴールデン＝トムプソン不等式が成立する：Tr(exp(𝒞 + 𝒟)) ≤ Tr(exp(𝒞) ⋆ exp(𝒟))。
• T凸関数に対してジェンセンのT積不等式が確立され、∑ᵢ 𝒞ᵢᴴ ⋆ 𝒞ᵢ = 𝒫 を満たす条件下で f(∑ᵢ 𝒞ᵢᴴ ⋆ 𝒳ᵢ ⋆ 𝒞ᵢ) ⪯ ∑ᵢ 𝒞ᵢᴴ ⋆ f(𝒳ᵢ) ⋆ 𝒞ᵢ が成り立つ。
• クラインのT積不等式が証明され、古典的不等式がT積テンソル設定へ拡張された。
• T積テンソルのためのCourant-Fischer定理が確立され、k番目に大きな固エントルプルがk次元部分空間上の最小最大化として特徴付けられる。
• 最小固エントルプルと最大固エントルプルの関係が明確化された：d_min(𝒳) = −d_max(−𝒳) が成り立ち、同様に固有値に対しても成り立つ。