[논문 리뷰] Noisy population recovery in polynomial time

Anindya De, Michael Saks외 1명|arXiv (Cornell University)|2016. 02. 24.

Machine Learning and Algorithms참고 문헌 2인용 수 7

한 줄 요약

이 논문은 잡음이 있는 인구 복원 문제에 대해 다항 시간 알고리즘을 제시하며, 임의의 $\mu > 0$에 대해 $k$, $n$, 및 $1/\varepsilon$에 다항적인 표본 복잡도를 달성한다. 이는 이전 최선의 bound인 $\mathsf{poly}(k^{\log\log k}, n, 1/\varepsilon)$ 보다 향상된 결과이다. 접근 방식은 잡음 감쇠형 모비우스 역행렬과 강건한 국소 역행렬 구성 방식을 조합하여, 잡음 있는 표본으로부터 유한 지지 집합을 가진 분포를 효율적으로 복원할 수 있도록 한다.

ABSTRACT

In the noisy population recovery problem of Dvir et al., the goal is to learn an unknown distribution $f$ on binary strings of length $n$ from noisy samples. For some parameter $μ\in [0,1]$, a noisy sample is generated by flipping each coordinate of a sample from $f$ independently with probability $(1-μ)/2$. We assume an upper bound $k$ on the size of the support of the distribution, and the goal is to estimate the probability of any string to within some given error $\varepsilon$. It is known that the algorithmic complexity and sample complexity of this problem are polynomially related to each other. We show that for $μ> 0$, the sample complexity (and hence the algorithmic complexity) is bounded by a polynomial in $k$, $n$ and $1/\varepsilon$ improving upon the previous best result of $\mathsf{poly}(k^{\log\log k},n,1/\varepsilon)$ due to Lovett and Zhang. Our proof combines ideas from Lovett and Zhang with a \emph{noise attenuated} version of Möbius inversion. In turn, the latter crucially uses the construction of \emph{robust local inverse} due to Moitra and Saks.

연구 동기 및 목표

• 비트 뒤집기 잡음 비율이 $\mu > 0$인 경우에 표본이 손상되는 잡음 있는 인구 복원 문제를 다루는 것.
• 지지 집합 크기가 $k$인 분포를 잡음 있는 표본으로부터 복원할 때 표본 복잡도와 알고리즘 복잡도를 줄이는 것.
• 모든 $k$, $n$, 및 $1/\varepsilon$에 대해 다항 시간 해법을 달성하여 이전의 $\mathsf{poly}(k^{\log\log k}, n, 1/\varepsilon)$ bound를 향상시키는 것.
• 알고리즘 복잡도가 표본 복잡도와 다항적으로 관련되어 있음을 입증하며, 특히 표본 복잡도의 상한을 구하는 데 집중하는 것.

제안 방법

• 복원 과정에서 잡음의 영향을 완화하기 위해 모비우스 역행렬의 잡음 감쇠형을 도입하는 것.
• 모티아와 색스의 강건한 국소 역행렬 구성 기법을 활용하여, 잡음이 존재하더라도 정확하게 노이즈 변환을 역행할 수 있도록 하는 것.
• 집합 $C^\downarrow$의 하향 폐쇄 위에 지지되는 함수의 가족인 $\mathsf{AND}_{\delta,z}$를 정의하고, 그 푸리에 스펙트럼의 $L_1$-노름을 제어하는 것.
• 잡음 영향을 받은 푸리에 계수를 모델링하기 위해 행렬 $A_{\mu,r}$를 사용하고, 정리 1.2를 적용하여 $A_{\mu,r} \cdot v \approx e_0$ 를 만족하는 벡터 $v$를 찾는다. 이는 복원 함수 $\ell$ 가 $\ell(0) \approx 1$ 이고, $x \neq 0$ 에 대해 $|\ell(x)| \ll 1$ 이 되도록 보장한다.
• 복원 함수 $\ell$ 의 푸리에 변환의 $L_1$-노름을 $\ell_\infty$-노름 $\|v\|_\infty$ 와 $C^\downarrow$ 의 흐문성에 따라 bound하여, 복원 오차가 $\varepsilon$ 이내가 되도록 보장한다.
• 복원 함수 $\ell(y) = \sum_{z \in C^\downarrow} v_{|z|} \delta^{|z|} \mathsf{AND}_{\delta,z}(y)$ 를 구성하여, 원래 분포를 잡음 있는 표본으로부터 재구성하는 데 쓰이는 이중 함수로 기능하도록 한다.

실험 결과

연구 질문

• RQ1 임의의 $\mu > 0$ 에 대해, 잡음 있는 인구 복원의 표본 복잡도가 $k$, $n$, 및 $1/\varepsilon$ 에 다항식으로 유 bounds 될 수 있는가?
• RQ2 로바트와 쩌앙의 $\mathsf{poly}(k^{\log\log k}, n, 1/\varepsilon)$ bound 를 향상시키는 다항 시간 알고리즘을 통해 잡음 있는 인구 복원을 달성할 수 있는가?
• RQ3 비트 뒤집기 잡음 비율 $\mu > 0$ 가 존재하는 상황에서, 잡음 감쇠형 모비우스 역행렬을 어떻게 구성하여 강건성을 확보할 수 있는가?
• RQ4 복원 함수 $\ell$ 의 푸리에 스펙트럼의 $L_1$-노름과 복원 과정의 알고리즘 복잡도 사이의 관계는 무엇인가?
• RQ5 잡음이 단순히 비트 손실이 아니라 비트 뒤집기일 경우, 강건한 국소 역행렬 기법을 어떻게 확장할 수 있는가?

주요 결과

• 잡음 있는 인구 복원의 표본 복잡도는 임의의 $\mu > 0$ 에 대해 $\mathsf{poly}((k/\varepsilon)^{O_\mu(1)}, n)$ 으로 유 bounds 되며, 여기서 $O_\mu(1) = \tilde{O}(1/\mu^4)$ 이다.
• 알고리즘은 $k$, $n$, 및 $1/\varepsilon$ 에 대해 다항 시간 해법을 달성하며, 이는 $\mu < 1$ 인 모든 경우에 대해 처음으로 이루어진 결과이다.
• 복원 함수 $\ell$ 의 푸리에 스펙트럼의 $L_1$-노름은 $k^2 \cdot \|v\|_\infty \cdot (1 + 2\delta)^r$ 로 bound 되며, 여기서 $\|v\|_\infty \leq (2/\eta)^{(1/\delta) \log(2/\delta)}$ 이다.
• 복원 함수 $\ell$ 는 $\ell(0) = 1$ 이고, 모든 $x \in C^\downarrow \setminus \{0\}$ 에 대해 $|\ell(x)| \leq \eta$ 를 만족하여, 0이 아닌 확률의 정확한 재구성 보장을 한다.
• $\mathsf{AND}_{\delta,z}$ 의 구성은 $\|\widehat{\mathsf{AND}_{\delta,z}}\|_{L_1} \leq k \cdot (1 + \delta)^{r - |z|}$ 를 보장하여, 복원 커널의 스펙트럼 노름을 제어한다.
• 최종적으로 $\widehat{\ell}$ 의 $L_1$-노름에 대한 bound 는 복원 오차가 $\varepsilon$ 이내가 되도록 보장하여, 원하는 정확도를 달성한다.