[論文レビュー] Optimal dictionary for least squares representation

Mohammed Rayyan Sheriff, Debasish Chatterjee|arXiv (Cornell University)|Mar 7, 2016

Sparse and Compressive Sensing Techniques参考文献 23被引用数 4

ひとこと要約

本稿では、既知の2階モーメント統計を持つ確率的ベクトルの表現係数の期待$ε$-ノルムを最小化する$ε$-最適辞書を構築するためのアルゴリズム的フレームワークを提案する。共分散構造から導かれる対称的正定値半行列のランク1分解を活用することで、多項式時間で最適な辞書と関連する再構成スキームを計算可能となり、与えられた辞書サイズ$K$に対して理論的最小平均$ε$-ノルムの係数を達成する。

ABSTRACT

Dictionaries are collections of vectors used for representations of random vectors in Euclidean spaces. Recent research on optimal dictionaries is focused on constructing dictionaries that offer sparse representations, i.e., $\ell_0$-optimal representations. Here we consider the problem of finding optimal dictionaries with which representations of samples of a random vector are optimal in an $\ell_2$-sense: optimality of representation is defined as attaining the minimal average $\ell_2$-norm of the coefficients used to represent the random vector. With the help of recent results on rank-$1$ decompositions of symmetric positive semidefinite matrices, we provide an explicit description of $\ell_2$-optimal dictionaries as well as their algorithmic constructions in polynomial time.

研究の動機と目的

• 既知の2階モーメント統計を持つ確率的ベクトルの表現係数の期待$ε$-ノルムを最小化する辞書を構築する問題に対処すること。
• 共分散から導かれる行列のランク1分解を用いて、$ε$-最適辞書の明示的特徴付けを提供すること。
• このような最適辞書と関連する再構成スキームを計算する多項式時間アルゴリズムを開発すること。
• 与えられた辞書サイズ$K$に対して、係数の平均$ε$-ノルムが理論的最小値に達することを証明することで、解の理論的最適性を確立すること。
• 一般部分空間および有限次元確率的ベクトル表現（制御理論的応用を含む）へのフレームワークの拡張すること。

提案手法

• 共分散行列$Σ_V^{1/2}$の平方根と$Σ_V$の像基底$B$から対称的正定値半行列$H^*$を導出する。
• 目標となるランク1分解を定義するため、スケーリング行列$H = \frac{K}{\operatorname{tr}(\Sigma^{1/2})} (B^{ op}B)^{-1/2} \Sigma^{1/2} (B^{ op}B)^{-1/2}$を構築する。
• アルゴリズム1を用いて$H$をランク1行列の和$\sum_{i=1}^K \delta_i^* \delta_i^{*\top} = H^*$に分解する。
• 得られたベクトル$\delta_i^*$を$d_i^* = B \delta_i^*$により変換し、元の空間$\mathbb{R}^n$における最終的な辞書ベクトルを取得する。
• 再構成スキームを$f^*(v) = (D^*)^+ v$として定義する。ここで$D^* = [d_1^* \; \cdots \; d_K^*]$であり、$(\cdot)^+$はムーア・ペネローズ逆行列を表す。
• 解が制約$\sum_{i=1}^K \delta_i^{*\top} (B^{ op}B) \delta_i^* = 1$を満たすように保証し、係数空間におけるエネルギー効率の最適性を確保する。

実験結果

リサーチクエスチョン

• RQ1 既知の2階モーメント統計を持つ確率的ベクトルの表現係数の期待$ε$-ノルムを最小化する辞書の構造は何か？
• RQ2 凸最適化と行列分解技術を用いて、多項式時間で$ε$-最適辞書を構築できるか？
• RQ3 最適辞書は共分散行列と表現部分空間の次元に関してどのようにパラメータ化できるか？
• RQ4 係数の平均$ε$-ノルムの理論的下界は何か？ 有限辞書で達成可能か？
• RQ5 提案手法は部分空間およびエネルギー最小化状態移行などの制御理論的応用にどのように一般化できるか？

主な発見

• $ε$-最適辞書が存在し、それは確率的ベクトルの共分散行列の平方根と像基底から導かれる行列のランク1分解によって特徴付けられる。
• 目的関数（係数の期待$ε$-ノルム）の最適値は$\frac{(\operatorname{tr}(\Sigma^{1/2}))^2}{K}$であり、これはサイズ$K$の辞書に対して達成可能な理論的最小値である。
• アルゴリズムは行列分解と線形代数的演算を用いて、多項式時間で最適辞書と再構成スキームを構築する。
• この手法は任意の部分空間$X_V \subset \mathbb{R}^n$に一般化可能であり、$\operatorname{image}(\Sigma_V)$の基底から辞書が構築される。
• 最適辞書は、表現の係数が最小平均エネルギーを持つことを保証し、$\sum_{i=1}^K \delta_i^{*\top} (B^{ op}B) \delta_i^* = 1$を満たす。これは1係数あたりの単位エネルギーコストに対応する。
• このフレームワークは制御系に適用可能であり、制御入力の$ε$-ノルムを最小化することでエネルギー最小状態移行を実現可能である。