[论文解读] Group testing and local search: is there a computational-statistical gap?

Fotis Iliopoulos, Ilias Zadik|arXiv (Cornell University)|Nov 10, 2020

SARS-CoV-2 detection and testing参考文献 54被引用 4

一句话总结

本文研究了在非自适应伯努利群组检测中，是否存在计算-统计间隙，以实现缺陷项的近似恢复。通过一阶矩方法和局部搜索分析，作者表明在困难区域中不存在重叠间隙属性（OGP）相变，证明了不存在不良局部极小值，并提供了强有力的经验证据，表明格劳伯动力学——一种简单的局部算法——能够成功实现理论上最优的最小满足集合（SSS）估计器。

ABSTRACT

In this work we study the fundamental limits of approximate recovery in the context of group testing. One of the most well-known, theoretically optimal, and easy to implement testing procedures is the non-adaptive Bernoulli group testing problem, where all tests are conducted in parallel, and each item is chosen to be part of any certain test independently with some fixed probability. In this setting, there is an observed gap between the number of tests above which recovery is information theoretically (IT) possible, and the number of tests required by the currently best known efficient algorithms to succeed. Often times such gaps are explained by a phase transition in the landscape of the solution space of the problem (an Overlap Gap Property phase transition). In this paper we seek to understand whether such a phenomenon takes place for Bernoulli group testing as well. Our main contributions are the following: (1) We provide first moment evidence that, perhaps surprisingly, such a phase transition does not take place throughout the regime for which recovery is IT possible. This fact suggests that the model is in fact amenable to local search algorithms ; (2) we prove the complete absence of "bad" local minima for a part of the "hard" regime, a fact which implies an improvement over known theoretical results on the performance of efficient algorithms for approximate recovery without false-negatives, and finally (3) we present extensive simulations that strongly suggest that a very simple local algorithm known as Glauber Dynamics does indeed succeed, and can be used to efficiently implement the well-known (theoretically optimal) Smallest Satisfying Set (SSS) estimator.

研究动机与目标

• 确定在非自适应伯努利群组检测中，对于近似恢复是否存在计算-统计间隙。
• 调查信息论极限与高效算法性能之间的观察到的间隙是否源于解空间中的相变，例如重叠间隙属性（OGP）。
• 分析群组检测问题的景观，以评估局部搜索算法的适用性。
• 评估简单局部算法（如格劳伯动力学）在实现最优SSS估计器方面的性能。
• 提供理论和经验证据，表明信息论可行性与算法效率之间的间隙可以被弥合。

提出的方法

• 使用一阶矩方法分析解空间，并提供证据，表明在困难区域中不存在重叠间隙属性（OGP）相变。
• 证明在困难区域的一部分中完全不存在“不良”局部极小值，意味着局部搜索的优化景观更有利。
• 采用一种称为格劳伯动力学的局部搜索算法，模拟群组检测问题中的恢复性能。
• 分析最小满足集合（SSS）估计器的理论性质，并研究其通过局部搜索的可实现性。
• 进行大量模拟，以评估格劳伯动力学在各种参数配置下实现近似恢复的成功率。
• 推导并分析涉及指数和对数项的复杂解析表达式，以界定错误概率并评估收敛性。

实验结果

研究问题

• RQ1 在近似恢复在信息论上可行的区域中，非自适应伯努利群组检测的解空间是否表现出重叠间隙属性（OGP）相变？
• RQ2 如格劳伯动力学等局部搜索算法是否能在群组检测的困难区域中成功恢复缺陷项？
• RQ3 群组检测中的计算-统计间隙是否由解空间中虚假局部极小值或其他结构障碍引起？
• RQ4 理论上最优的最小满足集合（SSS）估计器在多大程度上能通过简单的局部搜索方法高效实现？
• RQ5 信息论阈值与高效局部算法在近似群组检测中的性能之间存在何种关系？

主要发现

• 一阶矩证据表明，在近似恢复在信息论上可行的区域中，不存在重叠间隙属性（OGP）相变，表明该问题适合局部搜索。
• 本文证明了在困难区域的一部分中完全不存在“不良”局部极小值，意味着局部搜索算法具有更优的理论保证。
• 大量模拟表明，格劳伯动力学——一种简单的局部算法——成功实现了理论上最优的最小满足集合（SSS）估计器，用于近似恢复。
• 结果表明，非自适应伯努利群组检测中的计算-统计间隙可能被弥合，挑战了“高效算法需要比信息论极限多得多测试次数”的假设。
• 研究结果表明，基于局部搜索的实用算法在简洁性和效率方面可能优于现有的方法，如分支定界法或线性规划松弛法。
• 分析确认，在所提出的条件下，近似恢复中的错误概率几乎必然渐近趋于零，验证了在此设置下局部搜索的有效性。