[論文レビュー] Minimax optimal convex methods for Poisson inverse problems under $\ell_q$-ball sparsity

Yuan Li, Garvesh Raskutti|arXiv (Cornell University)|Apr 29, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用数 3

ひとこと要約

本稿は、$β$-正則性および物理的制約の下でポアソン逆問題に対するミニマックス最適レートを確立し、制限固有値条件の下で最適レート $R_q(\frac{\log p}{T})^{1-q/2}$ を達成する凸 $Ø_1$-正則化最小二乗推定量を提案する。この手法は実装可能であり、$n \gtrsim \tilde{K}\log p$ のとき統計的に一貫性を示す。ここで $\tilde{K} = O(R_q(\frac{\log p}{T})^{-q/2})$ であり、数値実験により性能が検証されている。

ABSTRACT

In this paper, we study the minimax rates and provide an implementable convex algorithm for Poisson inverse problems under weak sparsity and physical constraints. In particular we assume the model $y_i \sim \mbox{Poisson}(Ta_i^{ op}f^*)$ for $1 \leq i \leq n$ where $T \in \mathbb{R}_+$ is the intensity, and we impose weak sparsity on $f^* \in \mathbb{R}^p$ by assuming $f^*$ lies in an $\ell_q$-ball when rotated according to an orthonormal basis $D \in \mathbb{R}^{p imes p}$. In addition, since we are modeling real physical systems we also impose positivity and flux-preserving constraints on the matrix $A = [a_1, a_2,...,a_n]^{ op}$ and the function $f^*$. We prove minimax lower bounds for this model which scale as $R_q (\frac{\log p}{T})^{1 - q/2}$ where it is noticeable that the rate depends on the intensity $T$ and not the sample size $n$. We also show that a $\ell_1$-based regularized least-squares estimator achieves this minimax lower bound, provided a suitable restricted eigenvalue condition is satisfied. Finally we prove that provided $n \geq ilde{K} \log p$ where $ ilde{K} = O(R_q (\frac{\log p}{T})^{- q/2})$ represents an approximate sparsity level, our restricted eigenvalue condition and physical constraints are satisfied for random bounded ensembles. We also provide numerical experiments that validate our mean-squared error bounds. Our results address a number of open issues from prior work on Poisson inverse problems that focuses on strictly sparse models and does not provide guarantees for convex implementable algorithms.

研究の動機と目的

• 弱スパarsityを $\ell_q$-ボールに課した $0 < q \leq 1$ の下で、ポアソン逆問題のミニマックス下界を確立すること。
• ミニマックスレートを達成する、具体的には $\ell_1$-正則化最小二乗法である、凸的かつ実装可能な推定量を開発すること。
• ランダムな有界なアンサンブルに対して、$n \gtrsim \tilde{K}\log p$ のとき、制限固有値条件および物理的制約（非負性、フラックス保存）が高確率で満たされることを証明すること。
• 先行研究におけるギャップを埋めるために、高次元ポアソン逆問題における凸的かつ実装可能なアルゴリズムに対する理論的保証を提供すること。

提案手法

• モデルは $y_i \sim \text{Poisson}(T A_i^\top f^*)$ を仮定し、$f^* \in \mathbb{R}^p_+$、$A \in \mathbb{R}^{n \times p}_+$、$T > 0$ である。
• 弱スパarsityは $\|\bar{D}^\top f^*\|_q^q \leq R_q$ により課され、ここで $D$ は正規直交基底であり、$\bar{D}$ は最初の列を除いたものである。
• 物理的制約には $A \succeq 0$ および $A^\top \mathbf{1}_n \preceq \mathbf{1}_p$ が含まれ、非負のカウントとフラックス保存を保証する。
• $\ell_q$-ボール制約の下で $\ell_2$-リスクのミニマックス下界が $R_q(\frac{\log p}{T})^{1-q/2}$ のオーダーで導出される。
• 制限固有値条件の下で、ミニマックスレートを達成する $\ell_1$-正則化最小二乗推定量が提案され、その有効性が示される。
• 集中不等式と和集合不等式を用いて、$n \gtrsim \tilde{K}\log p$（ここで $\tilde{K} = O(R_q(\frac{\log p}{T})^{-q/2})$）の下で推定量の誤差に関する高確率境界が導出される。

実験結果

リサーチクエスチョン

• RQ1 弱スパarsityを $\ell_q$-ボールに課した $0 < q \leq 1$ の下で、ポアソン逆問題の推定におけるミニマックスレートは何か？
• RQ2 凸的かつ実装可能な推定量は、このようなスパarsityおよび物理的制約の下でミニマックス最適レートを達成できるか？
• RQ3 ランダムな有界なセンシング行列に対して、制限固有値条件および物理的制約が高確率で満たされるのは、$n$ と $T$ についてどのような条件下か？
• RQ4 ミニマックスレートは、サンプルサイズ $n$ の代わりに強度 $T$ にどのように依存するか？
• RQ5 $\ell_1$-正則化は、弱スパarsityの下でミニマックス最適性を達成するために果たす役割は何か？

主な発見

• $\ell_2$-リスクのミニマックス下界は $R_q(\frac{\log p}{T})^{1-q/2}$ のオーダーでスケーリングされ、このレートがサンプルサイズ $n$ の代わりに強度 $T$ に依存することを示している。
• 制限固有値条件の下で、$\ell_1$-正則化最小二乗推定量はこのミニマックス下界を達成する。
• 高確率で、$n \gtrsim \tilde{K}\log p$ のとき、制限固有値条件および物理的制約が満たされる。ここで $\tilde{K} = O(R_q(\frac{\log p}{T})^{-q/2})$ である。
• 推定量の誤差境界は集中不等式と和集合不等式を用いて導出され、高確率で $\|\hat{f} - f^*\|_2^2 \lesssim R_q(\frac{\log p}{T})^{1-q/2}$ が得られる。
• 数値実験により理論的平均二乗誤差境界が検証され、提案された推定量の実用的妥当性が確認された。
• 先行研究を拡張し、理論的保証を伴う実装可能な凸アルゴリズムを提供することで、ポアソン逆問題分野における文献における重要なギャップを埋めた。