[논문 리뷰] Besov regularity of functions with sparse random wavelet coefficients

Natalia Bochkina|arXiv (Cornell University)|2013. 10. 14.

Image and Signal Denoising Methods참고 문헌 28인용 수 6

한 줄 요약

이 논문은 희박한 웨이브릿 계수를 가진 랜덤 함수가 거의 확실히 베소프 공간에 속하기 위한 필수 및 필요조건을 확립하며, 이는 이전 연구를 일반적인 무거운 尾 분포와 초과완전 웨이브릿 사전에까지 확장한다. 주요 기여는 베이지안 비모수 회귀에서 사후 일致성을 보장하는 사전 정규성의 특성화이다.

ABSTRACT

This paper addresses the problem of regularity properties of functions represented as an expansion in a wavelet basis with random coefficients in terms of finiteness of their Besov norm with probability 1. Such representations are used to specify a prior measure in Bayesian nonparametric wavelet regression. Investigating regularity of such functions is an important problem since the support of the posterior measure does not include functions that are not in the support of the prior measure, and therefore determines the functions that are possible to estimate using specified Bayesian model. We consider a more general parametrisation than has been studied previously which allows to study a priori regularity of functions under a wider class of priors. We also emphasise the difference between the abstract stochastic expansions that have been studied in the literature, and the expansions actually arising in nonparametric regression, and show that the latter cover a wider class of functions than the former. We also extend these results to stochastic expansions in an overcomplete wavelet dictionary.

연구 동기 및 목표

• 일반적인 사전 분포 하에서 희박한 랜덤 계수를 가진 웨이브릿 전개로 생성된 함수의 사전 정규성을 결정하기 위해.
• 기존의 가우시안 및 서브가우시안 사전에 국한된 베소프 공간 소속 결과를 더 무거운 尾 분포로 확장하기 위해.
• 추상적인 확률적 전개와 실질적인 비모수 회귀에서 유도된 전개 간의 차이를 명확히 하여, 후자가 더 넓은 함수 클래스를 수용함을 보여주기 위해.
• 불연속성과 국소적 특징을 더 잘 모델링할 수 있는 유연성을 제공하는 초과완전 웨이브릿 사전에 결과를 일반화하기 위해.
• 거의 확실히 $ B_{p,q}^s $ 공간에 속하기 위한 필요 및 충분조건을 제시하여, 베이지안 웨이브릿 회귀에서 사후 일치성에 핵심적인 영향을 미친다.

제안 방법

• 웨이브릿 계수를 영에서의 점 질량과 거듭제곱 또는 지수 꼬리가 있는 일반 분포의 혼합으로 모델링한다.
• 웨이브릿 계수의 모멘트 및 꼬리 확률 한계를 사용하여 이중 척도 수준에 대한 유니온 바ounds를 통해 확률적 최댓값을 유도한다.
• 이중 척도 $ j $ 에서 $ 2^{sj} \|w_j\|_\infty $ 의 $ \ell^q $-합산 가능성에 의한 베소프 노름의 특성화를 적용한다.
• 꼬리 감쇠와 최댓값 성장률을 제어하기 위해 $ \varkappa $, $ \gamma $, 및 $ \iota $ 를 포함한 매개변수화를 사용하여 적분 가능성 보장을 한다.
• $ q < \infty $ 과 $ q = \infty $ 의 경우를 모두 분석하여 $ \ell^q $-노름 조건과 본질적 Suprema 조건을 구분한다.
• 거의 확실히 유한한 베소프 노름을 확보하기 위해 꼬리 지수 $ \beta $, 감쇠율 $ \alpha $, 분포 매개변수 $ r, \rho $ 에 대한 조건을 유도한다.

실험 결과

연구 질문

• RQ1 희박한 랜덤 웨이브릿 계수의 분포에 어떤 조건이 성립해야, 결과 함수가 거의 확실히 $ B_{p,q}^s $ 공간에 속하게 되는가?
• RQ2 특히 무거운 尾 또는 거듭제곱-지수 분포를 선택할 경우, 이는 함수의 사전 정규성에 어떤 영향을 미치는가?
• RQ3 실제로 유한 차원 사전(예: 유한 차원 모델)으로 생성된 함수의 정규성 특성은 무한 차원 모델과 어떻게 다를까?
• RQ4 결과를 초과완전 웨이브릿 사전으로 확장할 수 있으며, 이는 불연속성을 가진 함수를 모델링하는 데 어떤 영향을 미치는가?
• RQ5 웨이브릿 계수가 일반 꼬리 행동을 가진 i.i.d. 이면, $ \|f\|_{B_{p,q}^s} < \infty $ 가 거의 확실히 성립하기 위한 필요 및 충분조건은 무엇인가?

주요 결과

• 거듭제곱 지수 꼬리 분포의 경우, 함수는 거의 확실히 $ B_{p,q}^s $ 에 속한다. 조건은 $ \tilde{\delta} = s' - \alpha/2 < 0 $ 이며, 여기서 $ s' $ 는 부드러움 지수이고 $ \alpha $ 는 꼬리 감쇠를 제어한다.
• 다항식 꼬리의 경우, 거의 확실한 소속 조건은 $ \tilde{\delta} + (1-\beta)(1/\varkappa - 1/l) < 0 $ 이며, $ \varkappa > 2/(r+\rho+1/2) $ 과 $ l > 2/(r+\rho+1/2) $ 를 만족시켜 비어 있지 않은 매개변수 간격을 확보한다.
• 유한한 베소프 노름을 위한 충분조건은 $ s' + \gamma < 0 $ 이며, 여기서 $ \gamma $ 는 척도 간 최대 웨이브릿 계수의 성장률을 제어한다.
• 유한 차원 $ n $-계수 사전을 사용하는 모델은 척도 의존적 계수 제어 덕분에 무한 차원 사전 모델보다 더 넓은 함수 클래스를 지원한다.
• For $ q = \infty $, 조건은 $ \sup_j 2^{js'} \|w_j\|_\infty < \infty $ a.s. 로 단순화되며, 이는 $ \gamma < -s' $ 이고 $ \varkappa(r+\rho+1/2) > 2 $ 를 만족할 경우 성립한다.
• 결과는 사전 지지 집합이 원하는 부드러움 수준의 함수를 포함하려면 꼬리 행동과 감쇠율 간에 $ \beta $, $ \alpha $, $ r $, $ \rho $ 간의 특정 상호작용이 성립해야 함을 확인한다.