[논문 리뷰] A Polynomial Time Algorithm for Lossy Population Recovery

Ankur Moitra, Michael Saks|arXiv (Cornell University)|2013. 02. 06.

Machine Learning and Algorithms참고 문헌 20인용 수 7

한 줄 요약

이 논문은 이산 독립성에 기반한 소실적 인구 복원을 위한 다항 시간 알고리즘을 제시한다. 여기서 이진 문자열은 비율 $1 - \mu$로 독립적으로 소실된다. 선형 프로그래밍의 쌍대성과 복소해석학을 활용하여, 조건 수가 지수적으로 작은데도 불구하고 핵심 행렬에 대해 강건한 국소 역행렬의 존재를 증명한다. 이로 인해 고정된 $\mu > 0$ 에 대해 $n$-비트 문자열에 대한 알려지지 않은 분포를 $\varepsilon$-정확도로 다항 시간 내에 학습할 수 있으며, 이는 $n$ 과 $1/\varepsilon$ 에 대해 다항식 시간이다. 본 결과는 제한 접근 모델에서 DNF 학습을 위한 첫 번째 다항 시간 알고리즘을 제공한다.

ABSTRACT

We give a polynomial time algorithm for the lossy population recovery problem. In this problem, the goal is to approximately learn an unknown distribution on binary strings of length $n$ from lossy samples: for some parameter $μ$ each coordinate of the sample is preserved with probability $μ$ and otherwise is replaced by a `?'. The running time and number of samples needed for our algorithm is polynomial in $n$ and $1/\varepsilon$ for each fixed $μ>0$. This improves on algorithm of Wigderson and Yehudayoff that runs in quasi-polynomial time for any $μ> 0$ and the polynomial time algorithm of Dvir et al which was shown to work for $μ\gtrapprox 0.30$ by Batman et al. In fact, our algorithm also works in the more general framework of Batman et al. in which there is no a priori bound on the size of the support of the distribution. The algorithm we analyze is implicit in previous work; our main contribution is to analyze the algorithm by showing (via linear programming duality and connections to complex analysis) that a certain matrix associated with the problem has a robust local inverse even though its condition number is exponentially small. A corollary of our result is the first polynomial time algorithm for learning DNFs in the restriction access model of Dvir et al.

연구 동기 및 목표

• 모든 고정된 $\mu > 0$ 에 대해 각 비트가 독립적으로 비율 $1 - \mu$ 로 소실될 경우, 소실적 인구 복원을 다항 시간 내에 해결하는 알고리즘을 개발한다.
• 이전의 준다항 시간 방법에서 악영향을 미치는 지지집합 크기 $k$ 에 대한 지수적 의존성을 극복한다.
• 복소해석학 도구를 활용하여 조건 수가 지수적으로 작은 행렬에 대해 강건한 국소 역행렬의 존재를 입증한다.
• 알려지지 않은 분포의 지지집합 크기에 대한 사전 제약 조건이 없이도 일반적인 경우로 알고리즘을 확장한다.
• Dvir 등이 제안한 제한 접근 모델에서 DNF 학습을 위한 첫 번째 다항 시간 해법을 제공한다.

제안 방법

• 알려지지 않은 분포를 손실 샘플에서 추정하기 위해 선형 프로그래밍을 사용한다. 여기서 각 비트는 확률 $1 - \mu$ 로 '?' 로 대체된다.
• 핵심 기여는 샘플링 과정과 관련된 특정 행렬이 조건 수가 지수적으로 작음에도 불구하고 강건한 국소 역행렬을 가짐을 증명하는 것이다.
• 증명은 복소해석학에 기반하며, 특히 해리드의 세 원판 정리와 모비우스 변환을 활용하여 복소 평면의 해석적 함수의 행동을 분석한다.
• 핵심적인 불확실성 원리가 확립된다: 만약 해석적 함수가 중심이 $1 - \mu$ 인 원판 $D_\rho(\beta)$ 에서 유계이면, 그 값이 원점에서 크다면 단위 원주에서의 최댓값 또한 정량적으로 큰 하한을 가진다.
• 원본 문제(분포 추정)와 이중 문제(다항식 이완) 간의 쌍대성 분석을 통해, 이중 목표 함수가 역행렬 조건 수에 따라 유계임을 보였다.
• 런타임에서 $k$-의존성을 피함으로써, 분포의 지지집합 크기가 유계가 아닌 경우에도 알고리즘이 일반화된다.

실험 결과

연구 질문

• RQ1 모든 고정된 $\mu > 0$ 에 대해 $\mu$ 가 0에서 멀리 떨어져 있지 않아도 소실적 인구 복원을 다항 시간 내에 해결할 수 있는가?
• RQ2 조건 수가 지수적으로 작은 경우에도 샘플링 행렬에 대해 강건한 국소 역행렬이 존재하는가?
• RQ3 소실 채널에 사용된 기법을 더 일반적인 노이즈 있는 인구 복원 모델로 확장할 수 있는가? 여기서 비트는 소실되는 것이 아니라 뒤바뀌는가?
• RQ4 제한 접근 모델에서 DNF 학습을 다항 시간 내에 달성할 수 있는가? 이는 소실적 인구 복원으로 축소된다.
• RQ5 복소해석학은 데이터 손실 상황에서 발생하는 행렬의 역행성 검증에 어떤 역할을 하는가?

주요 결과

• 알고리즘은 $O((n/\varepsilon)^{2f(\mu)})$ 시간 내에 실행되며, $f(\mu) = \frac{1}{\mu \log(2/\mu)} + O(1)$ 이다. 이는 모든 고정된 $\mu > 0$ 에 대해 $n$ 과 $1/\varepsilon$ 에 대해 다항식 시간이다.
• 강건한 국소 역행렬의 존재는 복소해석적 불확실성 원리를 통해 입증되며, 중심이 $1 - \mu$ 인 원판에서 유계인 해석적 함수가 원점에서 크다면 단위 원주에서의 최댓값도 정량적으로 큰 하한을 가져야 한다는 것을 보여준다.
• 이전의 준다항 시간 알고리즘과 달리, 분포의 지지집합 크기가 유계가 아니어도 알고리즘이 작동한다.
• 알고리즘은 분포 추정에서 $\varepsilon$-정확도를 달성하며, 모든 문자열에 대해 오차가 $\varepsilon$ 이하이며, 지지집합에 속하는 문자열의 진짜 확률과의 추정 오차도 $\varepsilon$ 이내이다.
• 본 결과는 Dvir 등이 제안한 제한 접근 모델에서 DNF 학습을 위한 첫 번째 다항 시간 알고리즘을 암시한다. 여기서 각 예시는 입력 변수의 무작위 제한이다.
• 분석 결과, 복소 원판 $D_1$ 에서 $L^\infty$-노름을 사용한 이중 이완은 원본 목표 함수에 대한 날것의 유계를 제공하며, 이는 다항 시간 런타임을 가능하게 한다.