[논문 리뷰] Sequential Testing for Sparse Recovery

Matthew Malloy, Robert D. Nowak|arXiv (Cornell University)|2012. 12. 08.

Sparse and Compressive Sensing Techniques인용 수 7

한 줄 요약

이 논문은 차원 수 $n$ 대비 희박성 수준 $s$에 비례하는 로그 성장만을 요구함으로써 渐近적 최적성을 달성하는 실용적인 순차적 샘플링 방법인 순차 임계값 설정(Sequential Thresholding)을 제안한다. 이는 $\log s / D(P_0\|P_1)$의 이론적 하한선을 충족하여 비순차적 방법에 비해 샘플 복잡도를 크게 감소시킨다.

ABSTRACT

This paper studies sequential methods for recovery of sparse signals in high dimensions. When compared to fixed sample size procedures, in the sparse setting, sequential methods can result in a large reduction in the number of samples needed for reliable signal support recovery. Starting with a lower bound, we show any coordinate-wise sequential sampling procedure fails in the high dimensional limit provided the average number of measurements per dimension is less then log s/D(P_0||P_1) where s is the level of sparsity and D(P_0||P_1) the Kullback-Leibler divergence between the underlying distributions. A series of Sequential Probability Ratio Tests (SPRT) which require complete knowledge of the underlying distributions is shown to achieve this bound. Motivated by real world experiments and recent work in adaptive sensing, we introduce a simple procedure termed Sequential Thresholding which can be implemented when the underlying testing problem satisfies a monotone likelihood ratio assumption. Sequential Thresholding guarantees exact support recovery provided the average number of measurements per dimension grows faster than log s/ D(P_0||P_1), achieving the lower bound. For comparison, we show any non-sequential procedure fails provided the number of measurements grows at a rate less than log n/D(P_1||P_0), where n is the total dimension of the problem.

연구 동기 및 목표

• 고차원 희박 신호 문제에서 신뢰할 수 있는 지원 복원을 위해 필요한 측정값 수의 기본 한계를 규명하는 것.
• 기본 분포에 대한 완전한 지식이 필요 없이도 이러한 이론적 한계를 달성하는 실용적인 순차적 절차를 개발하는 것.
• 측정 효율성 측면에서 순차적 방법과 비순차적 고정 샘플 크기 절차를 비교하는 것.
• 순차적 샘플링이 차원 $n$에 대해 로그 성장하는 데서 희박성 $s$에 대해 로그 성장하는 데로 필요한 측정값을 줄일 수 있음을 보여주는 것.
• 일반적인 실세계 감지 문제에서 자주 사용되는 단조 증가 우도 비율 조건 하에서 순차 임계값 설정의 성능을 검증하는 것.

제안 방법

• 각 인덱스에 대해 이전 관측값에 기반해 측정값을 적응적으로 할당하는 좌표별 순차적 샘플링 전략을 제안한다.
• 증가하는 샘플 크기와 임계값을 사용해 반복적으로 각 인덱스를 테스트함으로써 비지원 요소를 제거하는 절차인 순차 임계값 설정을 도입한다.
• 신뢰 수준 $\gamma_k$ 와 문제 파라미터에 비례하는 감소하는 예산 $m_k$ 를 기반으로 한 정지 규칙을 사용한다.
• 가족별 오류 통제를 보장하기 위해 $\log(1/\delta)/\log(1/(1-\rho))$ 비례로 변화하는 동적 단계 수 $K$ 를 적용한다.
• 에러 확률을 근사하고 유한 샘플 성능 보장을 도출하기 위해 체르노프-스타인 렘마 프레임워크를 활용한다.
• 검정 통계량이 확률적으로 단조 증가함을 보장하기 위해 단조 증가 우도 비율 성질에 의존함으로써 신뢰할 수 있는 임계값 설정이 가능해진다.

실험 결과

연구 질문

• RQ1 순차적 희박 복원에서 정확한 지원 복원을 위해 필요한 측정값 수의 기본 하한선은 무엇인가?
• RQ2 기본 분포 $P_0$ 와 $P_1$ 의 완전한 지식이 없이도 이 하한선을 달성할 수 있는 실용적인 순차 절차를 설계할 수 있는가?
• RQ3 고차원 희박 설정에서 순차적 방법과 비순차적 고정 샘플 크기 절차의 성능는 어떻게 비교되는가?
• RQ4 어떤 조건에서 순차 임계값 설정이 높은 확률로 정확한 지원 복원을 보장하는가?
• RQ5 신뢰할 수 있는 복원을 위해 필요한 측정값 성장률의 渐近적 비율은 무엇이며, 이는 희박성 $s$ 와 차원 $n$ 에 따라 어떻게 달라지는가?

주요 결과

• 좌표별 순차적 절차는 평균 측정값 수가 $\log s / D(P_0\|P_1)$ 미만일 경우 정확한 지원 복원을 달성하지 못한다.
• 조건부 오류 확률 $\delta$ 가 보장되기 위해서는 $m \geq (\log s + \log \delta^{-1} + \log 4)/c_n$ 를 만족해야 하며, 이 때 $c_n$ 은 정규 조건 하에서 $D(P_0\|P_1)$ 에 수렴한다.
• $m / \log s > 1 / D(P_0\|P_1)$ 를 만족할 경우, $n \to \infty$ 일 때 오류 확률은 0으로 수렴하므로 渐近적 최적성을 증명한다.
• 순차 임계값 설정은 정보 이론적 하한선을 달성하여 측정 효율 측면에서 최초의 최적성(first-order optimal)을 달성한다.
• 비순차 절차는 $m \geq \log n / D(P_1\|P_0)$ 가 필요하며, 이는 $s \ll n$ 일 때 비순차적 하한선보다 크게 상회한다.
• 단조 증가 우도 비율 조건 하에서 구현 가능하므로, $P_1$ 이 부분적으로만 알려진 많은 실세계 감지 문제에 적용 가능하다.