[논문 리뷰] Learning Discrete Distributions from Untrusted Batches

Mingda Qiao, Gregory Valiant|arXiv (Cornell University)|2017. 11. 22.

Machine Learning and Algorithms참고 문헌 27인용 수 9

한 줄 요약

이 논문은 최대 $\epsilon$ 분량의 배치가 적대적으로 손상된 불신뢰할 수 있는 데이터 배치에서 이산 확률분포를 학습하기 위한 강건한 알고리즘을 제안한다. 두 가지 방법을 도입한다: 첫 번째는 지지 크기 $n$에 대해 지수적 시간 복잡도를 가지지만 $k$, $1/\epsilon$, $1/\eta$에 대해 다항식 시간 복잡도를 가지며, 오차 $O(\eta + \epsilon/\sqrt{k})$ 를 달성하며 $O((n+k)/\epsilon^2)$개의 배치를 필요로 한다. 두 번째 알고리즘은 $\eta=0$ 경우에 대해 $\operatorname{poly}((nk)^k)$ 시간 내에 작동하며, 새로운 $\ell_1$ 기반 텐서 근사 기법을 통해 동일한 오차 한계를 달성한다.

ABSTRACT

We consider the problem of learning a discrete distribution in the presence of an $ε$ fraction of malicious data sources. Specifically, we consider the setting where there is some underlying distribution, $p$, and each data source provides a batch of $\ge k$ samples, with the guarantee that at least a $(1-ε)$ fraction of the sources draw their samples from a distribution with total variation distance at most $η$ from $p$. We make no assumptions on the data provided by the remaining $ε$ fraction of sources--this data can even be chosen as an adversarial function of the $(1-ε)$ fraction of "good" batches. We provide two algorithms: one with runtime exponential in the support size, $n$, but polynomial in $k$, $1/ε$ and $1/η$ that takes $O((n+k)/ε^2)$ batches and recovers $p$ to error $O(η+ε/\sqrt{k})$. This recovery accuracy is information theoretically optimal, to constant factors, even given an infinite number of data sources. Our second algorithm applies to the $η= 0$ setting and also achieves an $O(ε/\sqrt{k})$ recover guarantee, though it runs in $\mathrm{poly}((nk)^k)$ time. This second algorithm, which approximates a certain tensor via a rank-1 tensor minimizing $\ell_1$ distance, is surprising in light of the hardness of many low-rank tensor approximation problems, and may be of independent interest.

연구 동기 및 목표

• 데이터 배치의 일부 분량 $\epsilon$ 가 적대적 소스에 의해 임의로 손상된 상황에서 이산 확률분포를 학습하는 문제를 다루기 위해.
• 손상된 데이터가 양호한 데이터에 대해 적대적으로 의존할 수 있는 상황에서도 정확도를 유지하는 알고리즘을 설계하기 위해.
• 신뢰할 수 없는 데이터 배치가 존재하는 상황에서 정보 이론적으로 최적의 오차 한계를 달성하기 위해.
• 양호한 배치가 목표 분포 $p$ 에서 i.i.d. 로 생성되는 특수한 경우 $\eta = 0$ 에 대해 효율적인 알고리즘을 개발하기 위해.
• 손상된 데이터에 대해 최소한의 가정으로 샘플 복잡도와 오차 한계에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 첫 번째 알고리즘은 배치의 빈도 텐서를 사용하며, $\ell_1$ 거리 기준으로 관측된 배치 빈도에 가까운 후보 분포 집합 $\textsf{DistSet}(n,k,A)$ 에 대해 탐색을 수행한다.
• 함수 $f_{n,t}(\epsilon,m)$ 을 통한 재귀적 농도 경계를 적용하여, 진짜 분포 $p$ 와 $\textsf{DistSet}$ 내 최고 후보 간의 거리를 상한으로 제시한다.
• 두 번째 알고리즘은 분포 $p$ 의 $k$-중복 텐서 곱을 $\ell_1$ 거리가 최소가 되는 랭크-1 텐서로 근사한다. 일반적으로 낮은 랭크 텐서 근사 문제는 난이도가 높지만, 이 설정에서는 놀라울 정도로 해석 가능하다는 결과를 활용한다.
• 총변동 거리의 텐서화 성질을 사용한다: $\|p^{\
• research_questions
• key_findings

실험 결과

연구 질문

• RQ1 무한한 데이터가 존재하더라도, 데이터 배치의 일부 분량 $\epsilon$ 이 적대적으로 손상된 상황에서 분포 학습의 근본적 한계는 무엇인가?
• RQ2 신뢰할 수 없는 배치 상황에서 $O(\eta + \epsilon/\sqrt{k})$ 오차를 달성할 수 있으며, 이 오차가 최적인지 여쭤본다.
• RQ3 일반적으로 낮은 랭크 텐서 근사 문제의 난이도가 높음에도 불구하고, $\eta = 0$ 경우에 대해 $O(\epsilon/\sqrt{k})$ 오차를 달성하는 효율적인 알고리즘을 설계할 수 있는가?
• RQ4 적대적 손상이 존재하는 상황에서 주어진 오차 허용 범위를 높은 확률로 달성하기 위해 필요한 배치 수는 얼마나 되는가?
• RQ5 적대적 데이터에 민감하지 않은 강건한 추정기 구축이 가능할까? 특히, 적대자가 양호한 데이터를 관찰하고 반응할 수 있는 상황에서도 말이다.

주요 결과

• 제안된 알고리즘은 $O((n+k)/\epsilon^2)$ 개의 배치를 사용하여 $O(\eta + \epsilon/\sqrt{k})$ 오차 한계를 달성하며, 이는 상수 요소를 제외한 정보 이론적으로 최적이다.
• 오차 한계 $O(\eta + \epsilon/\sqrt{k})$ 는 무한한 데이터 상황에서도 날카롭게 유지되며, 하한 경계 $2\eta + \epsilon/\sqrt{2k}$ 를 통해 이에 대응함을 보였다.
• $\eta = 0$ 경우에 대해 두 번째 알고리즘은 일반적으로 비가역적인 낮은 랭크 텐서 근사 문제에도 불구하고 $\operatorname{poly}((nk)^k)$ 시간 내에 $O(\epsilon/\sqrt{k})$ 오차를 달성한다.
• 알고리즘은 $p^{\otimes k}$ 의 새로운 $\ell_1$ 기반 랭크-1 근사를 활용하며, 이는 이 설정에서는 놀랍도록 해석 가능하다.
• 샘플 복잡도는 $O((n+k)/\epsilon^2)$ 이며, 알고리즘은 $1 - \delta$ 의 높은 확률로 성공하며, $n$, $k$, $\epsilon$, $\delta$ 에 대한 명시적 의존성을 갖는다.
• 분석을 통해 적대적 데이터가 양호한 데이터에 의존하더라도 이 방법이 강건하고 최적의 오차를 달성함을 입증하였으며, 최악의 손상에 대한 강력한 내성성을 보였다.