[논문 리뷰] A unified formulation of Gaussian vs. sparse stochastic processes - Part I: Continuous-domain theory

Michaël Unser, Pouya D. Tafti외 1명|arXiv (Cornell University)|2011. 08. 31.

Probabilistic and Robust Engineering Design참고 문헌 35인용 수 14

한 줄 요약

이 논문은 일반화된 백색 잡음—가우시안, 라플라스, 포아송, 알파-스테이블 등—으로 구동되는 선형 시스템의 출력으로서 연속 도메인 확률 과정을 모델링함으로써 연속 도메인 확률 과정을 위한 통합 수학적 프레임워크를 제안한다. 여기서 희소성은 레비 측도에 의해 제어된다. 주요 기여는 이러한 과정에 대한 엄밀한 $L_p$ 기반 존재 조건으로, 이는 정적 CARMA 과정을 일반화하고 안정 및 비안정 시스템을 통한 희소성 있고 비정적일 수 있는 과정 모델링을 가능하게 한다.

ABSTRACT

We introduce a general distributional framework that results in a unifying description and characterization of a rich variety of continuous-time stochastic processes. The cornerstone of our approach is an innovation model that is driven by some generalized white noise process, which may be Gaussian or not (e.g., Laplace, impulsive Poisson or alpha stable). This allows for a conceptual decoupling between the correlation properties of the process, which are imposed by the whitening operator L, and its sparsity pattern which is determined by the type of noise excitation. The latter is fully specified by a Levy measure. We show that the range of admissible innovation behavior varies between the purely Gaussian and super-sparse extremes. We prove that the corresponding generalized stochastic processes are well-defined mathematically provided that the (adjoint) inverse of the whitening operator satisfies some Lp bound for p>=1. We present a novel operator-based method that yields an explicit characterization of all Levy-driven processes that are solutions of constant-coefficient stochastic differential equations. When the underlying system is stable, we recover the family of stationary CARMA processes, including the Gaussian ones. The approach remains valid when the system is unstable and leads to the identification of potentially useful generalizations of the Levy processes, which are sparse and non-stationary. Finally, we show how we can apply finite difference operators to obtain a stationary characterization of these processes that is maximally decoupled and stable, irrespective of the location of the poles in the complex plane.

연구 동기 및 목표

• 가우시안 모델을 초월하는 연속 시간 확률 과정을 위한 일반적이고 수학적으로 엄밀한 프레임워크를 개발하기 위해.
• 상관 구조(백색화 연산자 $\mathcal{L}$를 통한 분리)와 희소성(혁신 노이즈의 레비 측도를 통한 분리)을 분리하기 위해.
• CARMA 과정 이론을 비가우시안, 비정적, 비안정 시스템으로 확장하기 위해.
• 백색화 연산자의 역행이 $L_p$ 유계 조건을 만족할 경우, 일반화된 $L_p$-유계 조건 하에서 일반화된 확률 과정의 존재성과 잘 정의됨을 확립하기 위해.
• 이러한 과정이 일치하는 웨이브렛 도메인에서 희소 표현을 갖는다는 것을 보여주고, 효율적인 신호 처리를 가능하게 하기 위해.

제안 방법

• 일정 계수 SDE의 해로서 확률 과정을 모델링하며, 라플라스, 포아송, 알파-스테이블 등 비가우시안 유형의 일반화된 백색 잡음 포함.
• 혁신 모델 사용: $s = \mathcal{T} w$, 여기서 $w$는 일반화된 백색 잡음 과정이고 $\mathcal{T}$는 백색화 연산자 $\mathcal{L}$의 역행이다.
• 과정을 그 특성 기능 $\widehat{\mathscr{P}}_s(\varphi) = \mathbb{E}[e^{j\langle s, \varphi \rangle}]$을 통해 기술하며, 이는 노이즈의 레비-힌친 표현에 기반한다.
• 백색화 연산자의 역행의 수반 연산자 $\mathcal{T}^*$가 $\mathcal{S}$에 대해 $L_p$에 사상할 경우, 특성 기능이 슈바르츠 공간 $\mathcal{S}$에서 정의되며, 양의 정부호성과 연속성을 보임으로써 존재성을 입증한다. ($p \geq 1$)
• 기존의 $L_2$-유계 조건을 비대칭성과 무거운 尾를 지닌 노이즈(예: 포아송, 알파-스테이블)에 대해 더 강건한 $L_p$로 일반화한다.
• 결과로 도출된 과정이 잘 정의된 일반화된 확률 과정이며, 일치하는 웨이브렛 기저에서 희소 표현을 갖는다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 일관된 모델링 원칙 하나로 연속 시간에서 가우시안 및 희소 확률 과정을 모두 기술할 수 있는 통합 수학적 프레임워크가 존재하는가?
• RQ2 혁신 노이즈의 유형에 따라 확률 과정의 희소성이 체계적으로 제어될 수 있는가? 이 과정에서 레비 측도는 어떤 역할을 하는가?
• RQ3 비가우시안, 비정적 연속 도메인 확률 과정의 존재성과 잘 정의됨을 보장하기 위해 시스템 연산자에 어떤 조건이 필요한가?
• RQ4 기존의 클래스적 CARMA 과정 프레임워크를 비안정 시스템과 비가우시안 노이즈 소스로 확장할 수 있는가?
• RQ5 이러한 일반화된 과정은 웨이브렛 도메인에서 희소 표현을 갖는가? 그리고 그 변환 도메인 통계는 어떻게 특징지을 수 있는가?

주요 결과

• 백색화 연산자의 역행의 수반 연산자 $\mathcal{T}^*$가 $p \geq 1$에 대해 $L_p$-유계 조건을 만족할 경우, 일반화된 확률 과정은 잘 정의된다. 이는 기존의 $L_2$ 요구 조건을 일반화한 것이다.
• 이 프레임워크는 레비 측도에 의해 희소성가 조절되는 단일 혁신 모델을 통해 가우시안, 라플라스, 포아송, 알파-스테이블 과정을 통합한다. 가우시안은 가장 덜 희소하고, 알파-스테이블은 가장 희소하다.
• 안정 시스템의 경우, 이론적 해법을 통한 연산자 기반 접근을 통해 정적 CARMA 과정의 전체 가족(비가우시안 포함)을 복원한다.
• 비안정 시스템의 경우, 레비 과정을 일반화하는 새로운 비정적, 희소 확률 과정의 클래스를 도출한다.
• 과정은 일치하는 웨이브렛 도메인에서 희소 표현을 갖으며, 그 변환 도메인 통계는 레비 측도와 시스템 연산자에 의해 완전히 특징지어진다.
• 과정의 특성 기능은 슈바르츠 공간에서 연속적이며 양의 정부호성을 띠며, 이는 고유한 일반화된 확률 과정의 존재를 보장한다.