[論文レビュー] Noisy population recovery in polynomial time

Anindya De, Michael Saks+1 more|arXiv (Cornell University)|Feb 24, 2016

Machine Learning and Algorithms参考文献 2被引用数 7

ひとこと要約

この論文は、任意の $\mu > 0$ に対して、$k$, $n$, および $1/\varepsilon$ の多項式関数としての標本複雑性を達成する、ノイズ付き集団回復の多項式時間アルゴリズムを提示している。これは、以前の最良の境界 $\mathsf{poly}(k^{\log\log k}, n, 1/\varepsilon)$ よりも改善している。本手法は、ノイズ低減型モビウス逆転と、ロバストな局所的逆行列構成を組み合わせており、ノイズのある標本から有界なサポートを持つ分布を効率的に回復可能である。

ABSTRACT

In the noisy population recovery problem of Dvir et al., the goal is to learn an unknown distribution $f$ on binary strings of length $n$ from noisy samples. For some parameter $μ\in [0,1]$, a noisy sample is generated by flipping each coordinate of a sample from $f$ independently with probability $(1-μ)/2$. We assume an upper bound $k$ on the size of the support of the distribution, and the goal is to estimate the probability of any string to within some given error $\varepsilon$. It is known that the algorithmic complexity and sample complexity of this problem are polynomially related to each other. We show that for $μ> 0$, the sample complexity (and hence the algorithmic complexity) is bounded by a polynomial in $k$, $n$ and $1/\varepsilon$ improving upon the previous best result of $\mathsf{poly}(k^{\log\log k},n,1/\varepsilon)$ due to Lovett and Zhang. Our proof combines ideas from Lovett and Zhang with a \emph{noise attenuated} version of Möbius inversion. In turn, the latter crucially uses the construction of \emph{robust local inverse} due to Moitra and Saks.

研究の動機と目的

• パラメータ $\mu > 0$ のビット反転ノイズによって汚染された標本を扱うノイズ付き集団回復問題に対処すること。
• 有界なサポートサイズ $k$ の分布をノイズのある標本から回復する際の、標本複雑性とアルゴリズム的複雑性を低減すること。
• $k$, $n$, および $1/\varepsilon$ における多項式時間解法を達成し、以前の $\mathsf{poly}(k^{\log\log k}, n, 1/\varepsilon)$ の境界を改善すること。
• アルゴリズム的複雑性が標本複雑性と多項式的に関連していることを確立し、特にその上限を制限することに焦点を当てる。

提案手法

• 回復プロセスにおけるノイズの影響を扱うために、モビウス逆転のノイズ低減型を導入すること。
• モイトラとサクスが提案したロバストな局所的逆行列構成を活用し、ノイズの存在下でも正確にノイズ付き変換を逆転できることを保証すること。
• 集合 $C^\downarrow$ の下方向閉包上にサポートを持つ関数族 $\mathsf{AND}_{\delta,z}$ を定義し、そのフーリエスペクトルの $L_1$-ノルムを制御すること。
• ノイズ影響を受けるフーリエ係数をモデル化する行列 $A_{\mu,r}$ を用い、定理 1.2 を適用して $A_{\mu,r} \cdot v \approx e_0$ を満たすベクトル $v$ を見つける。これにより、回復関数 $\ell$ が $\ell(0) \approx 1$ かつ $x \neq 0$ に対して $|\ell(x)| \ll 1$ を満たすように保証される。
• $\ell$ のフーリエ変換の $L_1$-ノルムを、$v$ の $\ell_\infty$-ノルムと $C^\downarrow$ のスパarsity を用いて評価し、回復誤差が $\varepsilon$ 以内に収まるように保証すること。
• 回復関数 $\ell(y) = \sum_{z \in C^\downarrow} v_{|z|} \delta^{|z|} \mathsf{AND}_{\delta,z}(y)$ を構築し、これは元の分布をノイズのある標本から再構築するための双対関数として機能する。

実験結果

リサーチクエスチョン

• RQ1 任意の $\mu > 0$ に対して、ノイズ付き集団回復の標本複雑性が $k$, $n$, および $1/\varepsilon$ の多項式関数で抑えられるか。
• RQ2 ロヴァットとチャンの $\mathsf{poly}(k^{\log\log k}, n, 1/\varepsilon)$ の境界を改善する、ノイズ付き集団回復の多項式時間アルゴリズムを達成することは可能か。
• RQ3 パラメータ $\mu > 0$ のビット反転ノイズの存在下でも、耐性を持つようにノイズ低減型モビウス逆転をどのように構築できるか。
• RQ4 回復関数 $\ell$ のフーリエスペクトルの $L_1$-ノルムと、回復プロセスのアルゴリズム的複雑性との関係は何か。
• RQ5 ノイズが単なるビットの欠失ではなく、ビット反転であるような状況において、ロバストな局所的逆行列技術を拡張することは可能か。

主な発見

• ノイズ付き集団回復の標本複雑性は、任意の $\mu > 0$ に対して $\mathsf{poly}((k/\varepsilon)^{O_\mu(1)}, n)$ で抑えられ、ここで $O_\mu(1) = \tilde{O}(1/\mu^4)$ である。
• アルゴリズムは $k$, $n$, および $1/\varepsilon$ における多項式時間解法を達成しており、これは任意の $\mu < 1$ に対して初めての結果である。
• 回復関数 $\ell$ のフーリエスペクトルの $L_1$-ノルムは、$k^2 \cdot \|v\|_\infty \cdot (1 + 2\delta)^r$ で抑えられ、ここで $\|v\|_\infty \leq (2/\eta)^{(1/\delta) \log(2/\delta)}$ である。
• 回復関数 $\ell$ は $\ell(0) = 1$ かつすべての $x \in C^\downarrow \setminus \{0\}$ に対して $|\ell(x)| \leq \eta$ を満たし、非ゼロ確率の正確な再構築を保証する。
• $\mathsf{AND}_{\delta,z}$ の構築により、$\|\widehat{\mathsf{AND}_{\delta,z}}\|_{L_1} \leq k \cdot (1 + \delta)^{r - |z|}$ が保証され、回復カーネルのスペクトルノルムが制御される。
• 最終的な $\ell$ の $L_1$-ノルムの上限により、回復誤差が $\varepsilon$ 以内に収束し、望ましい精度が達成される。