[论文解读] Minimax optimal convex methods for Poisson inverse problems under $\ell_q$-ball sparsity

Yuan Li, Garvesh Raskutti|arXiv (Cornell University)|Apr 29, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用 3

一句话总结

本文在 $β$-正则性和物理约束条件下，建立了泊松逆问题的极小极大最优速率，提出了一种凸 $Ø_1$-正则化最小二乘估计器，在受限特征值条件下实现了最优速率 $R_q(\frac{\log p}{T})^{1-q/2}$。当 $n \gtrsim \tilde{K}\log p$ 且 $\tilde{K} = O(R_q(\frac{\log p}{T})^{-q/2})$ 时，该方法被证明可实施且统计一致，数值实验验证了其性能。

ABSTRACT

In this paper, we study the minimax rates and provide an implementable convex algorithm for Poisson inverse problems under weak sparsity and physical constraints. In particular we assume the model $y_i \sim \mbox{Poisson}(Ta_i^{ op}f^*)$ for $1 \leq i \leq n$ where $T \in \mathbb{R}_+$ is the intensity, and we impose weak sparsity on $f^* \in \mathbb{R}^p$ by assuming $f^*$ lies in an $\ell_q$-ball when rotated according to an orthonormal basis $D \in \mathbb{R}^{p imes p}$. In addition, since we are modeling real physical systems we also impose positivity and flux-preserving constraints on the matrix $A = [a_1, a_2,...,a_n]^{ op}$ and the function $f^*$. We prove minimax lower bounds for this model which scale as $R_q (\frac{\log p}{T})^{1 - q/2}$ where it is noticeable that the rate depends on the intensity $T$ and not the sample size $n$. We also show that a $\ell_1$-based regularized least-squares estimator achieves this minimax lower bound, provided a suitable restricted eigenvalue condition is satisfied. Finally we prove that provided $n \geq ilde{K} \log p$ where $ ilde{K} = O(R_q (\frac{\log p}{T})^{- q/2})$ represents an approximate sparsity level, our restricted eigenvalue condition and physical constraints are satisfied for random bounded ensembles. We also provide numerical experiments that validate our mean-squared error bounds. Our results address a number of open issues from prior work on Poisson inverse problems that focuses on strictly sparse models and does not provide guarantees for convex implementable algorithms.

研究动机与目标

• 在 $\ell_q$-球约束下，$0 < q \leq 1$ 的弱稀疏性条件下，建立泊松逆问题的极小极大下界。
• 开发一种凸且可实施的估计器——具体而言，即 $\ell_1$-正则化最小二乘法，使其达到极小极大速率。
• 证明当 $n \gtrsim \tilde{K}\log p$ 时，受限特征值条件和物理约束（非负性、通量保持）对于随机有界集合以高概率成立。
• 通过为高维泊松逆问题中凸且可实施的算法提供理论保证，填补了先前研究中的空白。

提出的方法

• 模型假设 $y_i \sim \text{Poisson}(T A_i^\top f^*)$，其中 $f^* \in \mathbb{R}^p_+$，$A \in \mathbb{R}^{n \times p}_+$，且 $T > 0$。
• 通过 $\|\bar{D}^\top f^*\|_q^q \leq R_q$ 强制弱稀疏性，其中 $D$ 为正交基，$\bar{D}$ 排除第一列。
• 物理约束包括 $A \succeq 0$ 和 $A^\top \mathbf{1}_n \preceq \mathbf{1}_p$，以确保非负计数和通量保持。
• 在 $\ell_q$-球约束下，推导出 $\ell_2$-风险的极小极大下界，其阶为 $R_q(\frac{\log p}{T})^{1-q/2}$。
• 提出一种 $\ell_1$-正则化最小二乘估计器，并在受限特征值条件下证明其可达到极小极大速率。
• 利用集中不等式和联合界推导出估计器误差的高概率界，依赖于 $n \gtrsim \tilde{K}\log p$，其中 $\tilde{K} = O(R_q(\frac{\log p}{T})^{-q/2})$。

实验结果

研究问题

• RQ1 在 $\ell_q$-球稀疏性（$0 < q \leq 1$）与物理约束下，泊松逆问题的估计极小极大速率是什么？
• RQ2 在如此稀疏性和物理约束下，能否设计一种凸且可实施的估计器，使其达到极小极大最优速率？
• RQ3 对于随机有界的感知矩阵，$n$ 和 $T$ 需满足何种条件，才能使受限特征值条件和物理约束以高概率成立？
• RQ4 极小极大速率如何依赖于强度 $T$ 而非样本大小 $n$？
• RQ5 $\ell_1$-正则化在弱稀疏性下实现极小极大最优性中起什么作用？

主要发现

• 在 $\ell_2$-风险下的极小极大下界按 $R_q(\frac{\log p}{T})^{1-q/2}$ 缩放，表明该速率依赖于强度 $T$ 而非样本大小 $n$。
• 在受限特征值条件下，$\ell_1$-正则化最小二乘估计器可达到该极小极大下界。
• 以高概率，当 $n \gtrsim \tilde{K}\log p$ 时，受限特征值条件和物理约束成立，其中 $\tilde{K} = O(R_q(\frac{\log p}{T})^{-q/2})$。
• 通过集中不等式和联合界推导出估计器的误差界，得到 $\|\hat{f} - f^*\|_2^2 \lesssim R_q(\frac{\log p}{T})^{1-q/2}$ 以高概率成立。
• 数值实验验证了理论的均方误差界，证实了所提估计器的实际可行性。
• 本研究通过为可实施的凸算法提供理论保证，拓展了先前工作，填补了泊松逆问题研究中的一项关键空白。