[論文レビュー] An RKHS Approach to Estimation with Sparsity Constraints

Alexander Jung|arXiv (Cornell University)|Nov 22, 2013

Sparse and Compressive Sensing Techniques参考文献 36被引用数 3

ひとこと要約

本稿は、2つのガウス信号モデルであるスパース線形モデル（SLM）とスパースパラメトリック共分散モデル（SPCM）におけるスパarsity制約下での推定量の分散の鋭い下界を導出するため、再生核ヒルベルト空間（RKHS）フレームワークを構築する。主な貢献は、スパarsityに起因する性能向上を明確に定量化する包括的で厳密なRKHSに基づくアプローチであり、スパarsityに配慮した推定は、制約なしの推定と比較して推定量の分散を顕著に低減できることを示しており、スパarsityサポート集合上の最適化により明示的な下界が導出される。

ABSTRACT

The investigation of the effects of sparsity or sparsity constraints in signal processing problems has received considerable attention recently. Sparsity constraints refer to the a priori information that the object or signal of interest can be represented by using only few elements of a predefined dictionary. Within this thesis, sparsity refers to the fact that a vector to be estimated has only few nonzero entries. One specific field concerned with sparsity constraints has become popular under the name Compressed Sensing (CS). Within CS, the sparsity is exploited in order to perform (nearly) lossless compression. Moreover, this compression is carried out jointly or simultaneously with the process of sensing a physical quantity. In contrast to CS, one can alternatively use sparsity to enhance signal processing methods. Obviously, sparsity constraints can only improve the obtainable estimation performance since the constraints can be interpreted as an additional prior information about the unknown parameter vector which is to be estimated. Our main focus will be on this aspect of sparsity, i.e., we analyze how much we can gain in estimation performance due to the sparsity constraints.

研究の動機と目的

• スパarsity制約を用いた推定問題における性能向上を定量化すること。
• スパース推定を分析するための、再生核ヒルベルト空間（RKHS）を用いた包括的な数学的フレームワークを構築すること。
• スパース線形モデル（SLM）とスパースパラメトリック共分散モデル（SPCM）という2つの代表的なスパース推定問題における推定量の分散のタイトな下界を導出すること。
• スパarsity制約ありとなしの推定性能を自然に比較可能にするための枠組みを提供すること。

提案手法

• 再生核ヒルベルト空間（RKHS）の理論を用いて、スパース推定問題における推定量の分散の下界を導出する。
• 一般化された不等式と変分的手法を適用し、スパarsity制約下での最小達成可能分散を特徴付ける。
• スパarsityサポート集合上で対数尤度目的関数を最適化することにより、スパースパラメーターベクトルの最尤（ML）推定量を導出する。
• 対数尤度成分の微分の符号と単調性を分析することで、ML推定量の最適サポート集合を同定する。
• 単射写像と不等式解析を用いて、異なるサポート集合間での目的関数値を比較し、提案された推定量がグローバル最大値に達することを証明する。
• ML推定量は、信号対雑音比がしきい値を超えるインデックスの集合に含まれるサポートを持つことが示され、最適推定量の閉形式表現が得られる。

実験結果

リサーチクエスチョン

• RQ1 ガウス信号モデルにおけるスパarsity制約を活用することで、推定においてどの程度の性能向上が達成可能か？
• RQ2 スパース線形モデル（SLM）におけるスパarsity制約下での推定量の分散の根本的下界は何か？
• RQ3 スパースパラメトリック共分散モデル（SPCM）におけるスパarsity制約下での推定量の分散の根本的下界は何か？
• RQ4 スパarsity制約ありとなしの推定性能を比較するための包括的な数学的フレームワークを構築可能か？
• RQ5 ML推定量の最適サポート集合は、個々の成分の信号対雑音比とどのように関係するか？

主な発見

• RKHSフレームワークにより、スパarsity制約下での推定量の分散の下界を簡潔かつ洗練された形で導出可能である。
• スパースパラメーターベクトルの最尤（ML）推定量は、信号対雑音比がしきい値を超えるインデックスの集合にサポートを含むことが示された。
• ML推定量は対数尤度関数のグローバル最大値に達しており、そのサポートは信号パワーが雑音分散を超える集合の共通部分によって特徴づけられる。
• スパarsityに起因する性能向上は、制約なしの場合のCramér-Rao下界と比較することで定量化された。
• 解析により、提案された推定量が対数尤度を最大化する意味で最適であり、他のいかなるスパース推定量よりも高い目的関数値を達成できないことが証明された。
• 導出された下界はタイトであり、スパarsityレベルおよび活性成分の信号対雑音比に明示的に依存する。