[논문 리뷰] On the Restricted Isometry Property of Centered Self Khatri-Rao Products

Alexander Fengler, Peter Jung|arXiv (Cornell University)|2019. 05. 22.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 5

한 줄 요약

이 논문은 독립적인 등방향 열을 가진 $n \times N$ 랜덤 행렬의 중심화된 자체 Khatri-Rao (KR) 곱에 대해 Restricted Isometry Property (RIP)를 수립하며, 하이퍼파라미터 $s \lesssim n^2 / \log^2(eN/n^2)$에서 하이퍼파라미터 $s$에 대해 높은 확률로 RIP가 성립함을 보여준다. 이는 서브-가우시안 또는 구면적 열 분포를 가진 경우에 해당한다. 이 결과는 농도 불등식과 Hanson-Wright 유형 꼬리 bound를 활용하여 공분산 매칭 및 압축 감지 설정에서 강건한 복원 보장을 입증한다.

ABSTRACT

In this work we establish the Restricted Isometry Property (RIP) of the centered column-wise self Khatri-Rao (KR) products of $n imes N$ matrix with iid columns drawn either uniformly from a sphere or with iid sub-Gaussian entries. The self KR product is an $n^2 imes N$-matrix which contains as columns the vectorized (self) outer products of the columns of the original $n imes N$-matrix. Based on a result of Adamczak et al. we show that such a centered self KR product with independent heavy tailed columns has small RIP constants of order $s$ with probability at least $1-C\exp(-cn)$ provided that $s\lesssim n^2/\log^2(eN/n^2)$. Our result is applicable in various works on covariance matching like in activity detection and MIMO gain-estimation.

연구 동기 및 목표

• 독립적인 등방향 열을 가진 $n \times N$ 랜덤 행렬의 열 기반 중심화된 자체 Khatri-Rao 곱에 대해 Restricted Isometry Property (RIP)를 수립하기.
• 공분산 매칭 및 MIMO 이득 추정 문제에서 발생하는 구조적 측정 행렬에 대해 RIP 보장을 확장하기.
• 중심화 및 정규화 조건 하에 무거운 尾 꼬리 또는 서브-가우시안 요소가 존재하더라도 RIP 상수가 작게 유지됨을 보여주기.
• 비중앙 KR 곱에 대한 RIP 척도에 대한 추측을 해결하기 위해, 희박성 $s$에 대해 $n^2$ 측정값과 선형 척도 $s \sim n^2$를 보여주는 것.
• 구조적 크로네커 유형 측정 행렬을 사용한 압축 감지에서 안정적이고 강건한 $\ell_1$-기반 복원을 위한 이론적 기반 제공하기.

제안 방법

• 중앙화된 자체-Khatri-Rao 곱 $\mathcal{A}_i = \kappa(n) \cdot \text{vec}(\mathbf{a}_i \otimes \mathbf{a}_i - \mathbf{I}_n)$를 정의하여, 열의 평균이 0이고 노름이 1이 되도록 보장하기.
• Adamczak 등의 결과를 활용하여 이차 형식에 대한 서브-지수 꼬리 경계를 적용해 열의 최대 노름을 제어하기.
• 고차원에서의 이차 형식의 편차를 제어하기 위해 볼록 농도 성질을 통한 Hanson-Wright 부등식 적용하기.
• 구면적 및 서브-가우시안 벡터의 볼록 농도 성질을 활용해 KR 곱의 열이 서브-지수 모서리를 가지도록 보장하기.
• 체이닝 및 엔트로피 적분 기법을 통해 RIP 상수 $\delta_s$에 대한 고확률 경계를 유도하여, $\delta_s \lesssim \xi^2 \sqrt{s/n^2} \log(eN / (s \sqrt{s/n^2}))$를 도출하기.
• 차원에 독립적인 서브-지수 노름 경계를 사용해 $n \gtrsim s \log(eN/s)$ 조건 하에 $\delta_s < 1$가 고확률로 성립함을 입증하기.

실험 결과

연구 질문

• RQ1 서브-가우시안 또는 구면적 열을 가진 랜덤 행렬의 중심화된 자체-Khatri-Rao 곱에 대해 Restricted Isometry Property (RIP)를 수립할 수 있는가?
• RQ2 RIP가 높은 확률로 성립하기 위해 희박성 $s$가 $n^2$ 측정값과 어떻게 최적의 척도로 관련되어 있는가?
• RQ3 자기-자기 곱의 중심화가 이전 연구에서의 이차 척도 $s \sim n^2 \log^2 N$에 비해 향상된 선형 척도 $s \sim n^2 / \log^2(eN/n^2)$를 가능하게 하는가?
• RQ4 의존성 또는 구면적 요소를 가진 구조적 랜덤 행렬에 대해 Hanson-Wright 부등식을 적용하여 꼬리 행동을 제어할 수 있는가?
• RQ5 볼록 농도 성질이 KR 곱의 열에 대해 서브-지수 모서리를 보장하는 데에 충분한가? 이는 RIP 분석에 기여하는가?

주요 결과

• 등방향, 서브-가우시안 또는 구면적 열 분포 하에서 중심화된 자체-Khatri-Rao 곱 $\mathcal{A} \in \mathbb{R}^{n^2 \times N}$ 는 높은 확률로 $s$ 순서의 RIP를 가진다. 이는 $s \lesssim n^2 / \log^2(eN/n^2)$ 조건을 만족할 때 성립한다.
• 구면적 열의 경우 정규화 인자 $\kappa(n) = n/(n-1)$ 는 중심화 후에도 열의 노름을 유지하며, 열들이 차원에 독립적인 노름을 가진 서브-지수 꼬리 분포를 만족한다.
• 고확률로 RIP 상수 $\delta_s$ 는 $C \xi^2 \sqrt{s/n^2} \log(eN / (s \sqrt{s/n^2}))$ 이하로 경계된다. 여기서 $\xi$ 는 요소의 네 번째 모멘트에 의존한다.
• 이 결과는 이전 연구에서 제기된 비중앙 KR 곱에 대한 추측을 확인하며, 중심화가 $n^2$ 측정값에 대해 $s$의 선형 척도를 가능하게 함을 보여준다.
• 볼록 농도 성질을 만족하는 더 넓은 클래스의 벡터, 예를 들어 고정된 집합에서 무작위로 추출하는 경우(반복 없이 추출)와 같은 의존성 요소를 포함한 경우에도 분석이 확장된다.
• 고확률 경계는 $n \gtrsim s \log(eN/s)$ 조건 하에 성립하며, 이는 i.i.d. 서브-가우시안 행렬의 알려진 경계와 로그 요소를 제외하고 일치한다.