[논문 리뷰] Iterative Thresholding for Demixing Structured Superpositions in High Dimensions

Mohammadreza Soltani, Chinmay Hegde|arXiv (Cornell University)|2017. 01. 23.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 4

한 줄 요약

이 논문은 표본 수가 적은 환경에서 비선형 관측치로부터 두 개의 고차원 구조적 희소 벡터를 분리하는 데 위한 비볼록 반복 임계값 알고리즘인 Struct-DHT를 제안한다. 블록 희소성 가정 하에 $\mathcal{O}(s)$개의 표본으로 증명 가능하게 복원 가능하며, 선형 수렴성과 근사 선형 단계 복잡도를 보이며, 표본 효율성과 속도 면에서 볼록 및 비구조적 방법을 능가한다.

ABSTRACT

We consider the demixing problem of two (or more) high-dimensional vectors from nonlinear observations when the number of such observations is far less than the ambient dimension of the underlying vectors. Specifically, we demonstrate an algorithm that stably estimate the underlying components under general \emph{structured sparsity} assumptions on these components. Specifically, we show that for certain types of structured superposition models, our method provably recovers the components given merely $n = \mathcal{O}(s)$ samples where $s$ denotes the number of nonzero entries in the underlying components. Moreover, our method achieves a fast (linear) convergence rate, and also exhibits fast (near-linear) per-iteration complexity for certain types of structured models. We also provide a range of simulations to illustrate the performance of the proposed algorithm.

연구 동기 및 목표

• 비선형, 과소결정 관측치로부터 고차원 구조적 희소 벡터를 분리하는 문제에 대응하기 위해.
• 특히 블록 희소성과 같은 일반적인 구조적 희소성 가정 하에 구성 요소의 안정적 복원을 달성하기 위해.
• 구조적 희소성의 특성을 활용하여 표준 $\mathcal{O}(s)$ 기준 이하의 표본 복잡도를 감소시키기 위해.
• 확장 가능한 고차원 추론을 위해 빠른(선형) 수렴성과 근사 선형 단계 복잡도를 갖는 방법을 개발하기 위해.
• 기존의 분리 프레임워크를 비선형 관측 모델로 확장하고 증명 가능한 보장을 제공하기 위해.

제안 방법

• 알고리즘은 비선형 링크 함수 $g$를 갖는 일반화선형모형에서 유도된 비볼록 목적함수에 대해 반복 임계값을 적용한다.
• 구조적 하드 임계값 연산자 $\mathcal{P}_{s;s}$를 사용하여 각 구성 요소에서 크기가 가장 큰 $s$개의 블록을 유지함으로써 블록 희소성 구조를 보존한다.
• 안정성과 수렴성을 보장하기 위해 단계 크기 $\eta'$를 $\left(\frac{0.5}{M_{6s}}, \frac{1.5}{m_{6s}}\right)$ 구간 내에서 선택한다.
• 진짜 매개변수 $\theta$, 반복값 $t^k$, 그리고 투영된 중간 추정치 $b$를 포함하는 삼각부등식 분해를 통해 수렴성을 확립한다.
• 증명은 제한된 강한 볼록성/매끄러움성(SRSC/SRSS)과 히친키 부등식을 활용하여 지지집합에서 기대 기울기 노름을 근사한다.
• 기저 $\Phi$와 $\Psi$에 대한 비일관성 가정을 통해 식별성 문제를 해결한다.

실험 결과

연구 질문

• RQ1 비볼록 반복 임계값 방법이 비선형, 과소결정 관측치로부터 구조적 희소 구성 요소를 증명 가능하게 복원할 수 있는가?
• RQ2 블록 희소성 가정 하에 안정적인 분리에 필요한 최소 표본 수는 얼마인가?
• RQ3 제안된 방법이 고차원 환경에서 선형 수렴성과 근사 선형 단계 복잡도를 달성하는가?
• RQ4 표본 효율성과 오차 면에서 구조적 방법이 볼록 및 비구조적 대안보다 어떻게 비교되는가?
• RQ5 부드러움성 및 비일관성 가정 하에 점근적으로 최적의 표본 복잡도 하한선을 충족할 수 있는가?

주요 결과

• 제안된 Struct-DHT 알고리즘은 오차 한계 $\|t^{k+1}-\theta\|_2 \leq (2q)^k\|t^0 - \theta\|_2 + C\tau\sqrt{s/m}$를 갖는 선형 수렴성을 보이며, 여기서 $q < 1$이다.
• 서브가우시안 설계 행렬 하에서 필요한 표본 복잡도는 $\mathcal{O}(s/b \log(p/s))$이며, $b = \Omega(\log(p/s))$일 때 $\mathcal{O}(s)$로 감소한다.
• 이 방법은 점근적으로 최적의 표본 복잡도를 달성하여 비선형 고차원 환경에서의 복원에 대한 이론적 하한선과 일치한다.
• 수치 결과는 Struct-DHT가 표본 효율성 면에서 표준 DHT와 볼록 DST를 크게 능가함을 보여주며, 낮은 정규화 오차를 달성하기 위해 더 적은 표본이 필요하다.
• 모의 실험에서 $p = 2^{16}$, $s = 656$, $b = 16$ 조건 하에서 Struct-DHT는 경쟁 방법보다 더 적은 표본으로 성공적인 복원(정규화 오차 < 0.05)을 달성한다.
• 블록 희소 모델에 대해 알고리즘은 근사 선형 단계 복잡도를 보이며, 고차원 문제의 확장성에 기여한다.