[논문 리뷰] Uncertainty Principle and Sparse Reconstruction in Pairs of Orthonormal Rational Function Bases

Dan Xiong, Li Chai외 1명|arXiv (Cornell University)|2017. 12. 08.

Image and Signal Denoising Methods참고 문헌 37인용 수 4

한 줄 요약

이 논문은 무한차원 함수 공간 내에서 정규직교 분해를 갖는 유리함수 기저 쌍에 대한 불확실성 원리를 수립하며, 유리 전이함수의 희소 표현의 유일성을 증명한다. 랜덤 주파수 도메인 샘플링이 단위 원 위에서 수행될 경우, 측정 수가 상호 간섭도 및 희소성 제약 조건에서 유도된 경계를 초과하면, $\ell_1$-최소화가 높은 확률로 희소 계수 벡터를 복원할 수 있음을 보여준다.

ABSTRACT

Most rational systems can be described in terms of orthonormal basis functions. This paper considers the reconstruction of a sparse coefficient vector for a rational transfer function under a pair of orthonormal rational function bases and from a limited number of linear frequency-domain measurements. We prove the uncertainty principle concerning pairs of compressible representation of orthonormal rational functions in the infinite dimensional function space. The uniqueness of compressible representation using such pairs is provided as a direct consequence of uncertainty principle. The bound of the number of measurements which guarantees the replacement of 1_0 optimization searching for the unique sparse reconstruction by 1_1 optimization using random sampling on the unit circle with high probability is provided as well.

연구 동기 및 목표

• 무한차원 공간에서 정규직교 유리함수 기저 쌍에 대한 압축 가능 표현에 대한 불확실성 원리를 수립하기.
• 그러한 기저 쌍을 사용하여 유리 전이함수를 나타내는 희소 계수 벡터의 유일성을 증명하기.
• $\ell_1$-최적화를 통한 정확한 복원을 보장하기 위해 필요한 랜덤 주파수 도메인 측정 수의 경계를 유도하기.
• 정규직교 유리함수 기저에 의해 표현되는 유리 시스템에 대해 압축 감지 이론을 확장하기.

제안 방법

• 무한차원으로 일반화된 유한차원 결과를 바탕으로, $L^2$-유형 함수 공간 내 정규직교 유리함수 기저에 대한 불확실성 원리를 체계적으로 정의한다.
• 기저 간 비유사도를 측정하기 위해 상호 간섭도 $M = \sup_{i,j} |\langle \phi_i, \psi_j \rangle|$를 사용하여, 유일한 복원을 위한 희소성 수준의 경계를 유도한다.
• 단위 원 위에서 랜덤 샘플링을 적용하여 주파수 도메인 측정을 모델링하고, 랜덤 행렬의 농도 부등식을 활용한다.
• 꼬리 부등식(예: 허프딩의 부등식)과 행렬 편차 경계를 사용하여 재구성 오차의 확률적 경계를 도출한다.
• $\ell_1$-최소화를 통한 이중 증명 틀을 도입하여 희소 해의 유일성을 검증한다.
• 복원의 정확성을 높은 확률로 보장하기 위해, 공지역에 대한 이중 증명 노름의 Supremum을 유도하기 위한 확률적 레퍼런스 사슬을 활용한다.

실험 결과

연구 질문

• RQ1 정규직교 유리함수 기저로 생성된 무한차원 함수 공간으로 확장하여, 유한차원 벡터에서의 불확실성 원리를 적용할 수 있는가?
• RQ2 두 정규직교 유리함수 기저를 사용할 경우, 유리 전이함수의 희소 표현이 어떤 조건에서 유일한가?
• RQ3 $\ell_1$-최적화를 통해 높은 확률로 희소 계수 벡터를 복원하기 위해 필요한 최소한의 랜덤 주파수 도메인 측정 수는 얼마인가?
• RQ4 두 정규직교 유리함수 기저 간의 상호 간섭도가 유일한 복원을 위한 희소성 임계값에 어떤 영향을 미치는가?
• RQ5 랜덤 샘플링 하에서, $\ell_1$-최소화가 희소 재구성에 있어 $\ell_0$-최소화를 신뢰성 있게 대체할 수 있는가?

주요 결과

• 정규직교 유리함수 기저 쌍에 대한 불확실성 원리는, 어떤 비영인 신호도 동시에 두 기저에서 희소가 될 수 없음을 보장하며, 경계 $\|\alpha\|_0 + \|\beta\|_0 \geq 1 + M^{-1}$를 만족한다. 여기서 $M$은 기저 원소 간 최대 교차상관이다.
• 논문은 측정 수가 $m \geq C \cdot \mu(\Phi,\Psi)^2 \cdot |T| \cdot \log(n_1 + n_2)$를 초과할 경우, $\ell_1$-최소화가 높은 확률로 유일한 희소 해를 복원함을 증명한다. 여기서 $\mu(\Phi,\Psi)$는 상호 간섭도이고, $|T|$는 희소성 수준이다.
• 복원 성공 확률은 $P(\text{sup}_{t \in T^c} |\pi(t)| \geq 1) \leq 2(n_1+n_2)e^{-1/(2\lambda^2)} + 3(n_1+n_2)e^{-\gamma a^2} + P(\|\cdot\| \leq (1/2 + \|F-I\|)m)$로 경계지며, 이는 복원 실패율이 지수적으로 감소함을 보여준다.
• 필요한 측정 수의 경계는 $\bar{\sigma}^2 = \max\{2m\mu_M^2, \sqrt{m}|T|\mu_M^3\}$에 의존하며, 실패 확률는 $a \leq \min\{\sqrt{2m}/(\sqrt{|T|}\mu_M), (m/\mu_M^2)^{1/4}\}$를 만족하도록 $a$를 선택함으로써 제어된다.
• 분석 결과, 랜덤 샘플링 하에서 $\ell_1$-최소화가 $\ell_0$-최소화를 희소 유리 시스템 식별에 있어 높은 확률로 대체 가능하며, 이는 희소성 수준이 $1/M$ 이하일 경우에 해당한다.
• 결과적으로 유한차원 압축 감지 경계를 무한차원 유리함수 시스템으로 일반화하여, 제한된 주파수 데이터로부터 희소 유리 시스템 식별에 대한 이론적 보장을 제공한다.