[논문 리뷰] Faster Algorithms for Testing under Conditional Sampling

Moein Falahatgar, Ashkan Jafarpour외 3명|arXiv (Cornell University)|2015. 04. 16.

Machine Learning and Algorithms참고 문헌 1인용 수 3

한 줄 요약

이 논문은 도메인의 사용자 지정 부분집합에서 샘플을 반환하는 조건부 샘플링 모델에서 분포 성질 테스팅을 위한 더 빠른 알고리즘을 제시한다. 정체성 테스팅의 경우 최적의 샘플 복잡도 $\widetilde{\mathcal{O}}(\epsilon^{-2})$를 달성하고, 가까움 테스팅의 경우 $\widetilde{\mathcal{O}}(\epsilon^{-5}\log\log k)$의 하향 로그 수준을 달성하여 이전의 경계를 크게 향상시키고 정보 이론적 한계와 일치시킨다.

ABSTRACT

There has been considerable recent interest in distribution-tests whose run-time and sample requirements are sublinear in the domain-size $k$. We study two of the most important tests under the conditional-sampling model where each query specifies a subset $S$ of the domain, and the response is a sample drawn from $S$ according to the underlying distribution. For identity testing, which asks whether the underlying distribution equals a specific given distribution or $ε$-differs from it, we reduce the known time and sample complexities from $ ilde{\mathcal{O}}(ε^{-4})$ to $ ilde{\mathcal{O}}(ε^{-2})$, thereby matching the information theoretic lower bound. For closeness testing, which asks whether two distributions underlying observed data sets are equal or different, we reduce existing complexity from $ ilde{\mathcal{O}}(ε^{-4} \log^5 k)$ to an even sub-logarithmic $ ilde{\mathcal{O}}(ε^{-5} \log \log k)$ thus providing a better bound to an open problem in Bertinoro Workshop on Sublinear Algorithms [Fisher, 2004].

연구 동기 및 목표

• 조건부 샘플링 모델 하에서 정체성 테스팅과 가까움 테스팅의 샘플 및 시간 복잡도를 줄이는 것.
• 정체성 테스팅의 알려진 상한과 정보 이론적 하한 사이의 격차를 해소하는 것.
• 가까움 테스팅의 복잡도에 관해 부분선형 알고리즘 분야에서 열려 있는 문제를 해결하는 것.
• 가까움 테스팅에서 도메인 크기 $k$에 대한 하향 로그 의존성을 달성하는 효율적인 알고리즘을 개발하는 것.

제안 방법

• 사용자 정의된 도메인 부분집합에서 샘플을 반환하는 조건부 샘플링 쿼리를 활용한다.
• 유의미한 도메인 원소를 효율적으로 식별하기 위해 새로운 재귀적 이진 탐색 프레임워크를 도입한다.
• 낮은 확률을 가진 원소를 제거하고 검색 공간을 줄이기 위해 정렬 기법을 사용한다.
• 적은 수의 샘플로도 높은 신뢰도로 분포 파라미터를 근사하기 위해 다수준 근사 전략을 활용한다.
• 카이제곱 분산과 농도 부등식에서 유도된 오차 경계를 갖는 정교하게 설계된 샘플링 전략을 적용한다.
• 보조 가까움 테스팅 및 이진 탐색 서브루틴을 조합하여 계층적인 알고리즘 파ipline을 구성한다.

실험 결과

연구 질문

• RQ1 정체성 테스팅은 정보 이론적 하한과 일치하는 샘플 복잡도로 수행될 수 있는가?
• RQ2 특히 $k$에 대한 의존성 측면에서 조건부 샘플링 하에서 가까움 테스팅의 최적 샘플 복잡도는 무엇인가?
• RQ3 가까움 테스팅에서 $k$에 대한 의존성을 하향 로그 수준으로 줄일 수 있는가?
• RQ4 조건부 샘플링은 표준 샘플링 모델 대비 복잡도를 크게 향상시킬 수 있는 알고리즘 설계에 어떻게 활용될 수 있는가?

주요 결과

• 정체성 테스팅의 샘플 복잡도는 $\widetilde{\mathcal{O}}(\epsilon^{-2})$로 감소하여 정보 이론적 하한과 일치한다.
• 가까움 테스팅의 경우 샘플 복잡도가 $\widetilde{\mathcal{O}}(\epsilon^{-5}\log\log k)$로 향상되어 $k$에 대한 하향 로그 의존성을 달성한다.
• 가까움 테스팅 알고리즘은 2014년 버티노로 회의에서 피셔(2014)가 제기한 열린 문제를 해결한다.
• 두 분포가 $\epsilon$-원거리일 경우 성공 확률이 최소 $1/30$ 이상이며, 동일할 경우 최소 $1-\delta$ 이상이다.
• 가까움 테스팅 알고리즘의 총 샘플 복잡도는 $\widetilde{\mathcal{O}}(\epsilon^{-5}\log\log k)$로 이전의 $\widetilde{\mathcal{O}}(\epsilon^{-4}\log^5 k)$ 경계를 향상시킨다.