[論文レビュー] Von Neumann's inequality for tensors

Stéphane Chrétien, Tianwen Wei|arXiv (Cornell University)|Feb 5, 2015

Tensor decomposition and applications参考文献 5被引用数 3

ひとこと要約

この論文は、ハイパーレンズ・スモール値分解（HOSVD）を用いて、行列に対するフォン・ノイマンの不等式を高次テンソルへ拡張する。2つのテンソルの内積は、それらのモード別特異値ベクトルの内積によって上から抑えられ、等号成立の条件を完全に同定する。等号がすべてのモードで同時に成立するための必要十分条件は、テンソルのコアテンソルが、それぞれの特異スペクトルに直交変換と置換行列を適用した上で比例関係にあたることである。

ABSTRACT

For two matrices in $\mathbb R^{n_1 imes n_2}$, the von Neumann inequality says that their scalar product is less than or equal to the scalar product of their singular spectrum. In this short note, we extend this result to real tensors and provide a complete study of the equality case.

研究の動機と目的

• 元来行列に対して成り立つフォン・ノイマンの不等式を、高次実テンソルへ一般化すること。
• ハイパーレンズ・スモール値分解（HOSVD）フレームワークを用いて、テンソルに対する意味のある特異値および特異部分空間構造を定義すること。
• すべてのモードにわたるテンソル版フォン・ノイマン不等式における等号成立条件を完全に同定すること。
• 特にテンソル関数の超微分解析における応用を可能にするために、テンソル最適化への応用を支援すること。
• 機械学習および統計学におけるテンソルランク最小化の凸近似として、スパarsity促進ノルムの使用を支援すること。

提案手法

• テンソルを直交変換と正規直交ファイバーを持つコアテンソルに分解するため、ハイパーレンズ・スモール値分解（HOSVD）を用いる。
• モード-$d$ の特異スペクトル $\sigma^{(d)}(\mathcal{X})$ を、モード-$d$ の行列化 $\mathcal{X}_{(d)}$ の特異値のベクトルとして定義する。
• 各モード-$d$ の行列化に対して古典的なフォン・ノイマンの不等式を適用し、$\langle \mathcal{X}, \mathcal{Y} \rangle \leq \langle \sigma^{(d)}(\mathcal{X}), \sigma^{(d)}(\mathcal{Y}) \rangle$ の上限を得る。
• HOSVDにおけるコアテンソル $\mathcal{S}(\mathcal{X})$ と $\mathcal{S}(\mathcal{Y})$ の構造を分析することで、等号成立の条件を同定する。
• 置換行列 $\Pi_d$ を用いて特異値を再順序付け、再配置されたコアテンソルの対応するブロックが比例関係にあたるようする。
• すべてのモードで等号が成立するための必要十分条件は、ある共通の変換（置換行列と直交行列の組み合わせ）の下で、$\mathcal{D}(\mathcal{X}) = \rho \cdot \mathcal{D}(\mathcal{Y})$ を満たす直交行列 $W^{(d)}$ が存在することである。ここで $\rho$ はすべてのブロックで一定である。

実験結果

リサーチクエスチョン

• RQ1 行列に対するフォン・ノイマンの不等式を、高次テンソルへどのように一般化できるか？
• RQ2 このような一般化を可能にするために、テンソルに対する適切な特異値および特異部分空間の定義は何か？
• RQ3 すべてのモードで同時に等号が成立する条件は何か？
• RQ4 HOSVDにおけるコアテンソルの構造は、不等式における等号成立とどのように関係するか？
• RQ5 等号成立条件は、特異スペクトルに直交変換および置換行列を適用した形で表現できるか？

主な発見

• テンソル版フォン・ノイマン不等式が成立する：任意の2つのテンソル $\mathcal{X}, \mathcal{Y} \in \mathbb{R}^{n_1 \times \cdots \times n_D}$ に対して、各モード $d$ について $\langle \mathcal{X}, \mathcal{Y} \rangle \leq \langle \sigma^{(d)}(\mathcal{X}), \sigma^{(d)}(\mathcal{Y}) \rangle$ が成り立つ。
• すべてのモード $d=1,\ldots,D$ で等号が同時に成立するための必要十分条件は、直交行列 $W^{(d)}$ およびテンソル $\mathcal{D}(\mathcal{X})$ が存在し、置換行列と直交変換を組み合わせた共通の変換の下で $\mathcal{D}(\mathcal{X}) = \rho \cdot \mathcal{D}(\mathcal{Y})$ となることである。
• 等号成立条件は、コアテンソルのランクについて、すべての $d$ に対して $r_x^{(d)} = r_y^{(d)}$ であるか、またはすべての $d$ に対して $r_x^{(d)} > r_y^{(d)}$ であるか、またはすべての $d$ に対して $r_x^{(d)} < r_y^{(d)}$ であることを意味する。後者の2つの場合では、コアテンソルの要素が比例関係にあたる必要がある。
• 等号が成立するとき、小さい方のテンソルのサポート内において、すべてのインデックス $i_1,\ldots,i_D$ について、コアテンソル $\mathcal{S}(\mathcal{X})$ と $\mathcal{S}(\mathcal{Y})$ の要素が比例しており、各モードにおける比 $\sigma^{(d)}_{i_d}(\mathcal{X}) / \sigma^{(d)}_{i_d}(\mathcal{Y})$ が一様である。
• 等号成立の条件は、再配置されたコアテンソルにおけるブロック構造によって特徴づけられ、各ブロックは共通の特異値比に対応し、$\mathcal{D}(\mathcal{X})$ と $\mathcal{D}(\mathcal{Y})$ の同じブロック内ではすべての要素が比例関係にある。
• この特徴づけは、$\mathcal{D}(\mathcal{X})$ のすべての要素がこれらのブロックの和集合の外側に存在する場合、それがゼロである限り、比例関係を保つことを保証する。