[論文レビュー] Besov regularity of functions with sparse random wavelet coefficients

Natalia Bochkina|arXiv (Cornell University)|Oct 14, 2013

Image and Signal Denoising Methods参考文献 28被引用数 6

ひとこと要約

本稿は、スパースなウェーブレット係数を有する確率的関数が、確率1でベゾフ空間に属するための必要十分条件を確立し、従来のガウス型・サブガウス型の事前分布から一般のヘビーテール事前分布および過完全ウェーブレット辞書へと拡張している。主な貢献は、ベイズ非パラメトリック回帰における事後一致性を保証するための事前正則性の特徴付けである。

ABSTRACT

This paper addresses the problem of regularity properties of functions represented as an expansion in a wavelet basis with random coefficients in terms of finiteness of their Besov norm with probability 1. Such representations are used to specify a prior measure in Bayesian nonparametric wavelet regression. Investigating regularity of such functions is an important problem since the support of the posterior measure does not include functions that are not in the support of the prior measure, and therefore determines the functions that are possible to estimate using specified Bayesian model. We consider a more general parametrisation than has been studied previously which allows to study a priori regularity of functions under a wider class of priors. We also emphasise the difference between the abstract stochastic expansions that have been studied in the literature, and the expansions actually arising in nonparametric regression, and show that the latter cover a wider class of functions than the former. We also extend these results to stochastic expansions in an overcomplete wavelet dictionary.

研究の動機と目的

• 一般の事前分布の下で、スパースな確率的係数を有するウェーブレット展開によって生成される関数の事前正則性を特定すること。
• 従来のガウス型・サブガウス型事前分布に限らない、ベゾフ空間への属する結果を、ヘビーテール分布へと拡張すること。
• 抽象的な確率的展開と実用的な非パラメトリック回帰から生じる展開との違いを明確にし、後者の方がより広い関数クラスをサポートすることを示すこと。
• 不完全でないウェーブレット辞書への一般化を図り、不連続性や局所的特徴のモデル化における柔軟性の向上を実現すること。
• ベゾフ空間 $ B_{p,q}^s $ への概測度1での属するための必要十分条件を提示すること。これは、ベイズウェーブレット回帰における事後一致性にとって不可欠である。

提案手法

• ウェーブレット係数をゼロにおけるデルタ関数と、べき乗的・指数的尾部を有する一般分布の混合としてモデル化する。
• ウェーブレット係数のモーメントおよび尾確率の境界を用い、 dyadic スケールごとの和集合を用いた上限を適用して確率的最大値を導出する。
• dyadic スケール $ j $ における $ 2^{sj} \|w_j\|_\infty $ の $ \ell^q $-summability を用いて、ベゾフノルムの特徴づけを適用する。
• 尾部の減衰と最大値の成長を制御するためのパrameter化 $ \varkappa $, $ \gamma $, および $ \iota $ を用い、可積分性を保証する。
• $ q < \infty $ および $ q = \infty $ の両ケースを分析し、$ \ell^q $-ノルムと本質的上界の条件の違いを区別する。
• 確率的有限ベゾフノルムを保証するための、尾指数 $ \beta $, 減衰率 $ \alpha $, および分布パrameter $ r, \rho $ に対する条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 スパースな確率的ウェーブレット係数の分布にどのような条件を課すと、その関数が概測度1でベゾフ空間 $ B_{p,q}^s $ に属するようになるか？
• RQ2 特にヘビーテール型またはべき乗指数型の事前分布を選択した場合、関数の事前正則性にどのような影響を与えるか？
• RQ3 実用的な有限次元事前分布（有限次元モデル）によって生成される関数の正則性特性は、無限次元モデルとどのように異なるか？
• RQ4 結果を過完全ウェーブレット辞書へと拡張可能か？ また、不連続性を持つ関数のモデリングにどのような影響を及えるか？
• RQ5 ウェーブレット係数が一般の尾部挙動を有する i.i.d. である場合に、$ \|f\|_{B_{p,q}^s} < \infty $ が概測度1で成り立つための必要十分条件は何か？

主な発見

• べき乗指数的尾部を有する分布の場合、関数は $ \tilde{\delta} = s' - \alpha/2 < 0 $ が成り立つ限り、概測度1で $ B_{p,q}^s $ に属する。ここで $ s' $ は滑らかさ指数、$ \alpha $ は尾部減衰を制御する。
• 多項式的尾部の場合、概測度1での属するための条件は $ \tilde{\delta} + (1-\beta)(1/\varkappa - 1/l) < 0 $ であり、$ \varkappa > 2/(r+\rho+1/2) $ および $ l > 2/(r+\rho+1/2) $ を満たすことで、非空のパrameter区間が保証される。
• 有限ベゾフノルムの十分条件は $ s' + \gamma < 0 $ であり、ここで $ \gamma $ はスケール間での最大ウェーブレット係数の成長を制御する。
• 有限係数数 $ n $ の事前分布モデルは、スケール依存の係数制御のおかげで、無限次元事前分布モデルよりも厳密に広い関数クラスをサポートする。
• $ q = \infty $ の場合、条件は $ \sup_j 2^{js'} \|w_j\|_\infty < \infty $ a.s. に簡略化され、これは $ \gamma < -s' $ かつ $ \varkappa(r+\rho+1/2) > 2 $ のとき成立する。
• 結果は、尾部挙動と減衰率が $ \beta $, $ \alpha $, $ r $, $ \rho $ の間に特定の相互作用を満たす場合にのみ、事前分布のサポートが所望の滑らかさを持つ関数を含むことを確認している。