[논문 리뷰] Minimax optimal convex methods for Poisson inverse problems under $\ell_q$-ball sparsity

Yuan Li, Garvesh Raskutti|arXiv (Cornell University)|2016. 04. 29.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 3

한 줄 요약

이 논문은 $\beta$-정규성과 물리적 제약 조건 하에서 포아송 역문제에 대해 최소최대 최적 속도를 확립한다. 볼록 $Ø_1$-정규화 최소제곱 추정기의 제안으로, 제한된 고유값 조건 하에서 최적 속도 $R_q(\frac{\log p}{T})^{1-q/2}$ 를 달성한다. 이 방법은 $n \gtrsim \tilde{K}\log p$ 일 때 구현 가능하고 통계적으로 일致성이 있으며, 수치 실험을 통해 성능이 검증된다. $\tilde{K} = O(R_q(\frac{\log p}{T})^{-q/2})$.

ABSTRACT

In this paper, we study the minimax rates and provide an implementable convex algorithm for Poisson inverse problems under weak sparsity and physical constraints. In particular we assume the model $y_i \sim \mbox{Poisson}(Ta_i^{ op}f^*)$ for $1 \leq i \leq n$ where $T \in \mathbb{R}_+$ is the intensity, and we impose weak sparsity on $f^* \in \mathbb{R}^p$ by assuming $f^*$ lies in an $\ell_q$-ball when rotated according to an orthonormal basis $D \in \mathbb{R}^{p imes p}$. In addition, since we are modeling real physical systems we also impose positivity and flux-preserving constraints on the matrix $A = [a_1, a_2,...,a_n]^{ op}$ and the function $f^*$. We prove minimax lower bounds for this model which scale as $R_q (\frac{\log p}{T})^{1 - q/2}$ where it is noticeable that the rate depends on the intensity $T$ and not the sample size $n$. We also show that a $\ell_1$-based regularized least-squares estimator achieves this minimax lower bound, provided a suitable restricted eigenvalue condition is satisfied. Finally we prove that provided $n \geq ilde{K} \log p$ where $ ilde{K} = O(R_q (\frac{\log p}{T})^{- q/2})$ represents an approximate sparsity level, our restricted eigenvalue condition and physical constraints are satisfied for random bounded ensembles. We also provide numerical experiments that validate our mean-squared error bounds. Our results address a number of open issues from prior work on Poisson inverse problems that focuses on strictly sparse models and does not provide guarantees for convex implementable algorithms.

연구 동기 및 목표

• 0 < q \leq 1 인 $\ell_q$-구간에서 약한 희박성 하에서 포아송 역문제의 최소최대 하한을 확립한다.
• 최소최대 속도를 달성하는 볼록이고 실현 가능한 추정기—특히 $\ell_1$-정규화 최소제곱 방법—을 개발한다.
• 랜덤 유계 센싱 행렬에 대해 $n \gtrsim \tilde{K}\log p$ 일 때 제한된 고유값 조건과 물리적 제약 조건(비음성, 복사율 유지)이 높은 확률로 만족됨을 증명한다.
• 이전 연구에서 미비했던 점을 메우기 위해 고차원 포아송 역문제에서 볼록이고 실현 가능한 알고리즘에 대한 이론적 보장을 제공한다.

제안 방법

• 모델은 $y_i \sim \text{Poisson}(T A_i^\top f^*)$ 를 가정하며, $f^* \in \mathbb{R}^p_+$, $A \in \mathbb{R}^{n \times p}_+$, $T > 0$ 이다.
• 약한 희박성은 $\|\bar{D}^\top f^*\|_q^q \leq R_q$ 를 통해 부여되며, 여기서 $D$ 는 정규직교 기저이고 $\bar{D}$ 는 첫 번째 열을 제외한다.
• 물리적 제약 조건으로서 $A \succeq 0$ 과 $A^\top \mathbf{1}_n \preceq \mathbf{1}_p$ 가 있으며, 이는 음이 아닌 개수와 복사율 유지 보장을 보장한다.
• $\ell_q$-구간 제약 조건 하에서 $\ell_2$-위험에 대한 최소최대 하한 $R_q(\frac{\log p}{T})^{1-q/2}$ 이 도출된다.
• $\ell_1$-정규화 최소제곱 추정기가 제한된 고유값 조건 하에서 최소최대 속도를 달성함을 보여준다.
• 집합 불확실성과 유니온 바운드를 이용해 $n \gtrsim \tilde{K}\log p$ 이고 $\tilde{K} = O(R_q(\frac{\log p}{T})^{-q/2})$ 를 기반으로 추정기 오차의 고확률 경계를 유도한다.

실험 결과

연구 질문

• RQ1 0 < q \leq 1 일 때 $\ell_q$-구간 희박성 하에서 포아송 역문제의 최소최대 추정 속도는 무엇인가?
• RQ2 약한 희박성과 물리적 제약 조건 하에서 볼록이고 실현 가능한 추정기가 최소최대 최적 속도를 달성할 수 있는가?
• RQ3 랜덤 유계 센싱 행렬에 대해 $n$ 과 $T$ 가 어떤 조건을 만족할 경우 제한된 고유값 조건과 물리적 제약 조건이 높은 확률로 만족되는가?
• RQ4 샘플 크기 $n$ 이 아닌 강도 $T$ 가 최소최대 속도에 어떻게 영향을 미치는가?
• RQ5 $\ell_1$-정규화는 약한 희박성 하에서 최소최대 최적성을 달성하는 데 어떤 역할을 하는가?

주요 결과

• $\ell_2$-위험에 대한 최소최대 하한은 $R_q(\frac{\log p}{T})^{1-q/2}$ 의 비율로 스케일링되며, 이는 속도가 샘플 크기 $n$ 이 아닌 강도 $T$ 에 따라 결정됨을 보여준다.
• $\ell_1$-정규화 최소제곱 추정기는 제한된 고유값 조건 하에서 이 최소최대 하한을 달성한다.
• 높은 확률로 제한된 고유값 조건과 물리적 제약 조건이 $n \gtrsim \tilde{K}\log p$ 일 때 만족되며, $\tilde{K} = O(R_q(\frac{\log p}{T})^{-q/2})$ 이다.
• 추정기 오차의 경계는 집합 불확실성과 유니온 바운드를 통해 유도되며, 고확률로 $\|\hat{f} - f^*\|_2^2 \lesssim R_q(\frac{\log p}{T})^{1-q/2}$ 를 얻는다.
• 수치 실험을 통해 이론적 평균제곱오차 경계가 검증되었으며, 제안된 추정기의 실용 가능성 확인된다.
• 이전 연구를 확장하여 이론적 보장을 갖는 실현 가능한 볼록 알고리즘을 제공함으로써 포아송 역문제 분야에서의 핵심 격차를 메운다.