[논문 리뷰] Empirical Chaos Processes and Blind Deconvolution

Ali Ahmed, Felix Krahmer외 1명|arXiv (Cornell University)|2016. 08. 30.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 4

한 줄 요약

이 논문은 복소수 벡터 𝐰 ∈ ℂᴹ¹ 및 𝐪 ∈ ℂᴹ²가 이차형 측정값 𝑦ₗ = 𝐛ₗ*𝕏𝐜ₗ에서 유일하게 복원될 수 있는 조건을 규명한다. 여기서 𝕏 = 𝐰𝐪*이다. 𝕏에 대한 경험적 카오스 과정 𝑍(𝕏) = ∑ₗ |𝐛ₗ*𝕏𝐜ₗ|²을 사용하여, 일반적인 가우시안 𝐛ₗ, 𝐜ₗ 및 희박성 제약 조건 하에서 𝐿 ≥ Const·(𝐾+𝑁)log⁵(𝑀₁𝑀₂)일 경우, 𝐰 및 𝐪가 높은 확률로 유일하게 복원 가능하다는 것을 증명한다.

ABSTRACT

This paper investigates conditions under which certain kinds of systems of bilinear equations have a unique structured solution. In particular, we look at when we can recover vectors $\boldsymbol{w},\boldsymbol{q}$ from observations of the form \[ y_{\ell} = , \quad \ell = 1,\ldots,L, \] where $\boldsymbol{b}_\ell,\boldsymbol{c}_\ell$ are known. We show that if $\boldsymbol{w}\in\mathbb{C}^{M_1}$ and $\boldsymbol{q}\in\mathbb{C}^{M_2}$ are sparse, with no more than $K$ and $N$ nonzero entries, respectively, and the $\boldsymbol{b}_\ell,\boldsymbol{c}_\ell$ are generic, selected as independent Gaussian random vectors, then $\boldsymbol{w},\boldsymbol{q}$ are uniquely determined from \[ L \geq \mathrm{Const}\cdot (K+N)\log^5(M_1M_2) \] such equations with high probability. The key ingredient in our analysis is a uniform probabilistic bound on how far a random process of the form \[Z(\boldsymbol{X}) = \sum_{\ell=1}^L|\boldsymbol{b}_\ell^*\boldsymbol{X}\boldsymbol{c}_\ell|^2 \] deviates from its mean over a set of structured matrices $\boldsymbol{X}\in\mathcal{X}$. As both $\boldsymbol{b}_\ell$ and $\boldsymbol{c}_\ell$ are random, this is a specialized type of $4$th order chaos; we refer to $Z(\boldsymbol{X})$ as an {\em empirical chaos process}. Bounding this process yields a set of general conditions for when the map $\boldsymbol{X} ightarrow \{\boldsymbol{b}_\ell^*\boldsymbol{X}\boldsymbol{c}_\ell\}_{\ell=1}^L$ is a restricted isometry over the set of matrices $\mathcal{X}$. The conditions are stated in terms of general geometric properties of the set $\mathcal{X}$, and are explicitly computed for the case where $\mathcal{X}$ is the set of matrices that are simultaneously sparse and low rank.

연구 동기 및 목표

• 희박한 벡터 𝐰 및 𝐪가 𝕏 = 𝐰𝐪*일 때 이차형 측정값 𝑦ₗ = 𝐛ₗ*𝕏𝐜ₗ로부터 유일하게 복원될 수 있는 조건을 규명하는 것.
• 구조적 행렬 𝕏에 대해 평균에서의 이격도를 기반으로 경험적 카오스 과정 𝑍(𝕏) = ∑ₗ |𝐛ₗ*𝕏𝐜ₗ|²의 행동을 분석하는 것.
• 희박하고 낮은 질서 행렬에 대해 측정 맵 𝕏 ↦ {𝐛ₗ*𝕏𝐜ₗ}ₗ=1ᴸ가 제한 이sovmetry 성질을 가지는 데 필요한 충분한 조건을 설정하는 것.
• 희박성과 임베딩 차원에 따라 유일한 복원을 위해 필요한 측정 수 𝐿의 명시적 상한을 유도하는 것.
• 랜덤 측정값을 통한 안정적이고 강건한 복원을 보장하는 구조적 행렬 집합의 기하적 성질을 규명하는 것.

제안 방법

• 이차형 측정 과정을 경험적 카오스 과정 𝑍(𝕏) = ∑ₗ |𝐛ₗ*𝕏𝐜ₗ|²로 모델링하며, 여기서 𝐛ₗ 및 𝐜ₗ은 독립적인 복소수 가우시안 벡터이다.
• 특히 동시에 희박하고 낮은 질서인 행렬 𝕏 ∈ 𝒳의 집합에 대해 𝑍(𝕏)의 평균에서의 이격도에 대한 균일한 확률적 상한을 도출한다.
• 이 상한을 이용해 측정 맵이 집합 𝒳 위에서 제한 이sovmetry 성질을 만족함을 증명함으로써 안정적 복원을 보장한다.
• 기하학적 및 확률적 도구를 적용하여 행렬 집합 𝒳의 복잡성과 필요 측정 수 𝐿 간의 관계를 규명한다.
• 희박하고 낮은 질서인 경우에 대해 측정 복잡도를 명시적으로 계산하여 (𝐾+𝑁)log⁵(𝑀₁𝑀₂)를 포함하는 상한을 도출한다.
• 카오스 과정에 대한 농도 부등식을 활용하여 경험 과정이 집합 𝒳 전반에 걸쳐 기대값에서의 이격도를 균일하게 제어한다.

실험 결과

연구 질문

• RQ1 희박한 벡터 𝐰 및 𝐪가 𝕏 = 𝐰𝐪*일 때 이차형 측정값 𝑦ₗ = 𝐛ₗ*𝕏𝐜ₗ로부터 어떤 조건에서 유일하게 복원될 수 있는가?
• RQ2 유일한 복원을 높은 확률로 보장하기 위해 필요한 측정 수 𝐿는 어느 정도인가?
• RQ3 경험적 카오스 과정 𝑍(𝕏) = ∑ₗ |𝐛ₗ*𝕏𝐜ₗ|²은 복원 맵의 안정성을 규명하는 데 어떤 역할을 하는가?
• RQ4 구조적 행렬 집합 𝒳의 기하학적 성질은 측정 맵의 제한 이sovmetry 행동에 어떻게 영향을 미치는가?
• RQ5 𝕏가 동시에 희박하고 낮은 질서일 경우 명시적인 측정 복잡도 상한을 어떻게 도출할 수 있는가?

주요 결과

• 구조적 행렬 집합에서 경험적 카오스 과정 𝑍(𝕏) = ∑ₗ |𝐛ₗ*𝕏𝐜ₗ|²이 평균 주위로 매우 조밀하게 집중되어 있음을 보이며, 이는 측정 행동에 대한 균일한 제어를 가능하게 한다.
• 높은 확률로 이차형 측정 맵은 동시에 희박하고 낮은 질서인 행렬 집합 위에서 제한 이sovmetry 성질을 만족한다.
• 측정 수 𝐿가 𝐿 ≥ Const·(𝐾+𝑁)log⁵(𝑀₁𝑀₂)를 만족할 경우, 희박한 벡터 𝐰 및 𝐪의 유일한 복원이 보장된다.
• 필요한 측정 수는 임베딩 차원의 곱 𝑀₁𝑀₂에 대해 로그적으로 증가하며, 이는 구조적 행렬 집합의 복잡성을 반영한다.
• 분석은 기하학적 성질과 랜덤 측정을 통한 이차형 복원의 안정성 간의 일반적 프레임워크를 제공한다.
• 결과는 점점 커지는 근사가 아닌 비점근적이며, 일반적인 가우시안 측정 벡터 𝐛ₗ 및 𝐜ₗ에 대해 유효하여 일반적인 랜덤 샘플링 하에서도 강건함을 보장한다.