[论文解读] Lower bounds for identifying subset members with subset queries

Emanuel Knill|arXiv (Cornell University)|Jan 22, 1995

SARS-CoV-2 detection and testing参考文献 15被引用 60

一句话总结

该论文建立了在两阶段群组测试算法中识别大小为 $ n $ 的对象集合 $ P $ 所需查询数的紧致下界，其中每个对象以独立概率 $ p/n $ 被包含在 $ P $ 中。结果表明，若第一阶段使用的查询数为 $ o(\log n \log n / \log \log n) $，则第二阶段的期望个体测试数为 $ n^{1-o(1)} $；而采用 $ O(\log n \log n / \log \log n) $ 次第一阶段查询的算法可实现 $ \Exp(q_2) = o(1) $，从而解决了关于非自适应群组测试效率的一个猜想。

ABSTRACT

An instance of a group testing problem is a set of objects $\cO$ and an unknown subset $P$ of $\cO$. The task is to determine $P$ by using queries of the type ``does $P$ intersect $Q$'', where $Q$ is a subset of $\cO$. This problem occurs in areas such as fault detection, multiaccess communications, optimal search, blood testing and chromosome mapping. Consider the two stage algorithm for solving a group testing problem. In the first stage a predetermined set of queries are asked in parallel and in the second stage, $P$ is determined by testing individual objects. Let $n=\cardof{\cO}$. Suppose that $P$ is generated by independently adding each $x\in \cO$ to $P$ with probability $p/n$. Let $q_1$ ($q_2$) be the number of queries asked in the first (second) stage of this algorithm. We show that if $q_1=o(\log(n)\log(n)/\log\log(n))$, then $\Exp(q_2) = n^{1-o(1)}$, while there exist algorithms with $q_1 = O(\log(n)\log(n)/\log\log(n))$ and $\Exp(q_2) = o(1)$. The proof involves a relaxation technique which can be used with arbitrary distributions. The best previously known bound is $q_1+\Exp(q_2) = \Omega(p\log(n))$. For general group testing algorithms, our results imply that if the average number of queries over the course of $n^\gamma$ ($\gamma>0$) independent experiments is $O(n^{1-\epsilon})$, then with high probability $\Omega(\log(n)\log(n)/\log\log(n))$ non-singleton subsets are queried. This settles a conjecture of Bill Bruno and David Torney and has important consequences for the use of group testing in screening DNA libraries and other applications where it is more cost effective to use non-adaptive algorithms and/or too expensive to prepare a subset $Q$ for its first test.

研究动机与目标

• 确定在 $ P $ 为 $ n $ 个对象的随机子集（每个对象独立以概率 $ p/n $ 被包含）时，两阶段群组测试所需的最少查询数。
• 分析第一阶段查询数与第二阶段期望个体测试数之间的权衡。
• 解决 Bruno 和 Torney 提出的关于非自适应群组测试查询复杂度的猜想，该猜想涉及DNA文库筛选等应用。
• 在概率子集生成模型下，建立非自适应群组测试算法效率的根本限制。

提出的方法

• 作者引入一种松弛技术，用于分析在任意分布下的群组测试查询复杂度，从而能够分析随机子集模型。
• 将群组测试问题建模为两阶段过程：第一阶段为非自适应查询，共 $ q_1 $ 次查询；第二阶段为自适应的个体测试，共 $ q_2 $ 次查询。
• 利用概率方法，基于第一阶段查询数 $ q_1 $，对第二阶段查询数的期望值 $ \Exp(q_2) $ 进行上界估计。
• 关键技术贡献是证明了：即使在最优查询设计下，若 $ q_1 = o(\log n \log n / \log \log n) $，则 $ \Exp(q_2) = n^{1-o(1)} $。
• 该方法适用于一般分布，并用于推导出非自适应算法中必须查询的非单元素子集数的通用下界。

实验结果

研究问题

• RQ1 为确保第二阶段个体测试的期望数量为次多项式，第一阶段所需的最少查询数是多少？
• RQ2 当 $ P $ 为稀疏随机子集时，非自适应群组测试算法能否实现次多项式总查询成本？
• RQ3 在一般分布下，非自适应群组测试中必须查询的非单元素子集数的根本限制是什么？
• RQ4 Bruno 和 Torney 的猜想——即需要 $ \Omega(\log n \log n / \log \log n) $ 次查询——在概率子集模型下是否成立？

主要发现

• 若第一阶段使用 $ o(\log n \log n / \log \log n) $ 次查询，则第二阶段期望个体测试数为 $ n^{1-o(1)} $，表明其可扩展性差。
• 存在第一阶段查询数为 $ q_1 = O(\log n \log n / \log \log n) $ 且 $ \Exp(q_2) = o(1) $ 的算法，表明该界是紧致的。
• 该结果通过证明在高概率下非自适应群组测试中必须查询 $ \Omega(\log n \log n / \log \log n) $ 个非单元素子集，从而解决了 Bruno 和 Torney 的猜想。
• 分析建立了新的下界 $ q_1 + \Exp(q_2) = \Omega(p \log n) $，优于此前已知的界。
• 证明中使用的松弛技术具有普遍性，适用于任意分布，使得结果在更广泛的场景中具有适用性，而不仅限于所考虑的具体概率模型。