[논문 리뷰] The Power of an Example: Hidden Set Size Approximation Using Group Queries and Conditional Sampling

Dana Ron, Gilad Tsur|arXiv (Cornell University)|2014. 04. 20.

Machine Learning and Algorithms참고 문헌 9인용 수 4

한 줄 요약

이 논문은 알려진 유니버스 $ U $ 내에 있는 알려지지 않은 부분집합 $ S $ 의 크기를 근사화하는 문제를 다룬다. 이는 두 가지 유형의 쿼리인 그룹 쿼리(집합 $ S \cap T \neq \emptyset $ 여부를 나타내는 이진 응답)와 조건부 샘플링(비어있으면 $ S \cap T $ 에서 균일하게 샘플링된 원소를 반환)을 사용한다. 논문은 적응형 및 비적응형 알고리즘에 대해 쿼리 복잡도에 대한 날카로운 경계를 확립하며, 특히 간격 쿼리와 같은 구조적 설정에서 조건부 샘플링이 그룹 쿼리에 비해 뚜렷한 이점을 제공함을 보여준다.

ABSTRACT

We study a basic problem of approximating the size of an unknown set $S$ in a known universe $U$. We consider two versions of the problem. In both versions the algorithm can specify subsets $T\subseteq U$. In the first version, which we refer to as the group query or subset query version, the algorithm is told whether $T\cap S$ is non-empty. In the second version, which we refer to as the subset sampling version, if $T\cap S$ is non-empty, then the algorithm receives a uniformly selected element from $T\cap S$. We study the difference between these two versions under different conditions on the subsets that the algorithm may query/sample, and in both the case that the algorithm is adaptive and the case where it is non-adaptive. In particular we focus on a natural family of allowed subsets, which correspond to intervals, as well as variants of this family.

연구 동기 및 목표

• 모르는 부분집합 $ S \subseteq U $ 의 크기를 근사화하는 데 있어 그룹 쿼리와 조건부 샘플링의 상대적 능력을 조사하는 것.
• 쿼리 또는 샘플링이 가능한 부분집합 $ T \subseteq U $ 에 대한 다양한 제약 조건 하에서 $ |S| $ 를 근사화하는 데 필요한 쿼리 복잡도를 분석하는 것.
• 두 쿼리 모델에서 적응형 및 비적응형 알고리즘의 효율성과 쿼리 수 측면에서의 비교.
• 고확률로 $ (1+\epsilon) $-근사치를 달성하기 위해 필요한 쿼리/샘플 수에 대한 상한 및 하한 경계를 확립하는 것.
• 예를 들어 해시 함수로 정의된 가족이나 간격과 같은 구조적 제약 조건이 집합 크기 근사화의 효율성에 미치는 영향을 탐색하는 것.

제안 방법

• 두 가지 쿼리 모델을 제안한다: 그룹 쿼리(집합 $ S \cap T \neq \emptyset $ 여부에 대한 이진 응답)와 조건부 샘플링(비어있으면 $ S \cap T $ 에서 균일하게 샘플링된 원소를 반환).
• 비적응형 알고리즘을 설계하며, 포함 확률이 $ 1/e_{\log n - i} $ 인 무작위 부분집합 $ R^j_i $ 의 시퀀스를 사용하고, 음성 응답의 비율을 $ \widehat{p}_i $ 로 추정한다.
• 두 단계로 구성된 적응형 알고리즘을 사용한다: 먼저 지수 간격으로 설정된 임계값을 사용해 $ e_{2^{\ell^*}} \approx w $ 를 만족하는 $ \ell^* $ 를 추정하는 거친 탐색을 수행하고, 이후 이진 탐색을 통해 추정치를 정밀화한다.
• 통계적 추정 기법을 사용하여 $ \widehat{p}_i $ 의 오차를 제한하며, Chernoff 한계와 실패 확률에 대한 로그적 의존성으로 인해 농도가 유지되도록 보장한다.
• 하나의 분포를 $ (S_1, S_2) $ 쌍에 대해 정의하여, 제한된 쿼리 수에서의 구별 불가능성을 통해 하한을 증명한다. 이들 집합의 크기는 각각 $ 2^i $ 와 $ 2^{i+1} $ 이다.
• $ \epsilon < 1 $ 인 경우를 위해 분석을 수정하여, 임계값 $ e_i $ 와 신뢰 구간을 조정함으로써, $ O(\log(1/\delta)/\epsilon^2) $ 의 샘플 수를 유지하면서도 $ (1+\epsilon) $-근사치를 달성하도록 한다.

실험 결과

연구 질문

• RQ1 모르는 집합의 크기를 근사화하는 데 있어 조건부 샘플링의 능력이 그룹 쿼리에 비해 어떻게 다른가?
• RQ2 적응형 및 비적응형 환경 모두에서 $ |S| $ 의 $ (1+\epsilon) $-근사치를 얻기 위해 필요한 최적의 쿼리/샘플 수는 얼마인가?
• RQ3 간격이나 해시 함수 기반 가족과 같은 쿼리 집합에 대한 구조적 제약 조건이 집합 크기 근사화의 쿼리 복잡도에 어떤 영향을 미치는가?
• RQ4 비적응형 알고리즘이 동일한 쿼리 모델 하에서 적응형 알고리즘과 유사한 효율성을 달성할 수 있는가?
• RQ5 정확한 집합 크기 근사화에 필요한 쿼리 수에 대한 정보 이론적 한계(하한)는 무엇인가?

주요 결과

• 모든 부분집합의 전체 가족에 대해, 조건부 샘플링의 경우 $ \tilde{O}(\sqrt{w}/\epsilon^2) $-쿼리 상한 경계를 확립하였으며, 이는 로그 요소를 제외하고 날카로운 경계이다.
• 간격 쿼리에 대한 비적응형 설정에서는 특정 조건 하에 $ w $ 와 무관하게 $ \tilde{O}(\log \log n / \epsilon^2) $ 의 쿼리 복잡도를 달성한다.
• 간격 쿼리를 사용한 비적응형 알고리즘에 대해 $ \Omega(\log \log n) $ 의 하한 경계를 증명하여, 상한 경계가 거의 최적임을 보여준다.
• 간격 쿼리에 대한 적응형 알고리즘의 경우 $ \tilde{O}(\log \log w / \epsilon^2) $ 의 쿼리 복잡도를 달성하였으며, 이는 로그 요소를 제외하고 최적이다.
• 조건부 샘플링은 그룹 쿼리에 비해 뚜렷한 이점을 제공한다: 그룹 쿼리는 $ w $ 를 근사화하기 위해 $ \Omega(\sqrt{w}) $ 개의 쿼리가 필요하지만, 조건부 샘플링은 이를 $ \tilde{O}(\sqrt{w}/\epsilon^2) $ 로 줄이며, 이때 $ \epsilon $ 의 의존성은 다항식이다.
• 특히 $ w > n/w $ 인 경우, 비적응형 알고리즘은 $ w = n $ 에서 시작하여 가설을 내림차순으로 탐색함으로써 $ \tilde{O}(\log w / \epsilon^2) $ 의 복잡도를 달성할 수 있으며, 이는 희박한 영역에서 효율성을 향상시킨다.