[論文レビュー] Low-rank Approximation of Linear Maps

Patrick Héas, Cédric Herzet|arXiv (Cornell University)|Dec 21, 2018

Sparse and Compressive Sensing Techniques参考文献 12被引用数 5

ひとこと要約

本稿では、ヒルバート空間における有界線形作用素の低ランク近似に対して、ヒルベルト＝シュミットノルムを用いた閉形式の解を提示する。これは有限次元におけるエクァート・ヤングの定理を無限次元に一般化したものであり、$Y - M X$ の最適なランク-$k$ 近似は $M_k^* = P_k Y X^\flat$ で与えられ、誤差はランク $k$ を超える特異値の二乗和によって上限が与えられる。これにより、カーネル型および連続的ダイナミックモード分解（DMD）のための取り扱い可能なアルゴリズムが可能になる。

ABSTRACT

This work provides closed-form solutions and minimum achievable errors for a large class of low-rank approximation problems in Hilbert spaces. The proposed theorem generalizes to the case of bounded linear operators the previous results obtained in the finite dimensional case for the Frobenius norm. The theorem provides the basis for the design of tractable algorithms for kernel or continuous DMD.

研究の動機と目的

• ヒルバート空間内における有界線形作用素の非凸的かつ無限次元的な低ランク近似問題を解く挑戦に応えること。
• 従来、フロベニウスノルムに対して知られていた有限次元における低ランク近似結果を、ヒルベルト＝シュミットノルムを用いて無限次元設定に拡張すること。
• 問題 $\min_{M \in \mathcal{B}_k(\mathcal{V},\mathcal{V})} \|Y - M X\|_{\mathcal{HS}}$ に対して、閉形式の解と正確な誤差特徴付けを提供すること、ここで $X, Y$ はヒルベルト＝シュミット作用素である。
• 閉形式の解析的最適解を導出することで、カーネルベースおよび連続的ダイナミックモード分解（DMD）のための効率的かつ最適なアルゴリズムを可能にすること。

提案手法

• この手法は、無限次元ヒルバート空間へと拡張されたスミト＝エクァート・ヤング＝ミルスキーの定理に依拠し、最適な低ランク近似を導出する。
• 最適解は $M_k^* = P_k Y X^\flat$ として定義され、ここで $P_k$ は $Z = Y X^\flat X$ の上位 $k$ 個の左特異部分空間への直交射影であり、$X^\flat$ は $X$ のムーア＝ペンローズ一般化逆行列である。
• 元の問題を $X$ および $Y$ の特異値分解を用いて変換空間に変換し、ヒルベルト＝シュミットノルムのユニタリ不変性を活用することで、解を導出する。
• 誤差は二つの成分に分解される：$\tilde{Y}$（$Y$ の特異値分解におけるもの）のランク $k$ を超える特異値の尾部、および $Y$ が $X$ の核空間上に射影されたエネルギー。
• コン pact かつ自己随伴作用素 $K$ を用いることで、修正されたヒルベルト＝シュミットノルムへの一般化が可能となり、エネルギー重み付きまたは内積重み付き近似問題への応用が可能になる。
• 証明では、元の問題と低次元部分空間における変換問題との等価性を確立し、ノルム不変性および特異値の切り捨てを用いて最適性を示している。

実験結果

リサーチクエスチョン

• RQ1 無限次元ヒルバート空間における有界線形作用素の低ランク近似問題に対して、ヒルベルト＝シュミットノルム下で閉形式の解を導出できるか？
• RQ2 古典的なエクァート・ヤングの定理は、ヒルベルト＝シュミット作用素ノルムに関して無限次元の場合に拡張可能か？
• RQ3 ヒルバート空間内での $Y - M X$ の低ランク近似の最小達成可能誤差は何か？ そしてそれはどのように分解されるか？
• RQ4 最適解は $X$ および $Y$ の特異ベクトルおよび特異値を用いてどのように表現できるか？
• RQ5 このフレームワークは重み付きまたは修正されたヒルベルト＝シュミットノルムに適応可能か？ そしてカーネルベースおよび連続的DMDに与える影響は何か？

主な発見

• 問題 $\min_{M \in \mathcal{B}_k(\mathcal{V},\mathcal{V})} \|Y - M X\|_{\mathcal{HS}}$ の最適解は、$M_k^* = P_k Y X^\flat$ として閉形式で与えられ、ここで $P_k$ は $Z = Y X^\flat X$ の上位 $k$ 個の特異部分空間への射影である。
• 二乗近似誤差は $\|Y - M_k^* X\|_{\mathcal{HS}}^2 = \sum_{i=k+1}^{m} (\sigma_i^Z)^2 + \sum_{i=\mathop{\rm rank}(X)+1}^{m} \sum_{j=1}^{m} (\sigma_j^Y)^2 \langle \psi_j^Y, \psi_i^X \rangle_{\mathcal{U}}^2$ で与えられ、特異値の尾部と $X$ の像空間に直交する $Y$ の成分に明示的に分離されている。
• 誤差式は、$M_k^*$ が $Y X^\dagger$ の支配的特異部分空間を捉えている場合に近似誤差が最小化されることを確認しており、残余誤差は切り捨てと $X$ の核空間の両方に起因する。
• この解は、有限次元におけるエクァート・ヤングの結果を無限次元ヒルバート空間へと一般化しており、制約なしの解を低次元部分空間に射影する構造を保っている。
• この手法により、カーネルベースおよび連続的ダイナミックモード分解（DMD）のための正確かつ取り扱い可能なアルゴリズムが可能になる。閉形式解により反復的最適化を回避できる。
• コン pact かつ自己随伴作用素 $K$ を用いることで、このフレームワークは修正されたヒルベルト＝シュミットノルムへと拡張可能であり、エネルギー重み付きまたは内積重み付き低ランク近似に応用可能である。これは、非一様重みを伴うDMDにおいて重要である。