[论文解读] Fast and Powerful Conditional Randomization Testing via Distillation

Molei Liu, Eugene Katsevich+2 more|arXiv (Cornell University)|Jun 6, 2020

Statistical Methods in Clinical Trials参考文献 48被引用 15

一句话总结

本文提出蒸馏条件随机化检验（distilled conditional randomization test, CRT），一种计算高效的机器学习方法，可在保持精确第一类错误控制的同时实现强大的条件独立性检验。通过将复杂模型蒸馏为轻量级代理模型，并结合筛选与计算复用等技术，该方法在计算速度上实现数量级提升，同时保持与完整CRT几乎相同的检验效能，从而实现对大规模数据集（包括乳腺癌基因分析）的实际应用。

ABSTRACT

We consider the problem of conditional independence testing: given a response Y and covariates (X,Z), we test the null hypothesis that Y is independent of X given Z. The conditional randomization test (CRT) was recently proposed as a way to use distributional information about X|Z to exactly (non-asymptotically) control Type-I error using any test statistic in any dimensionality without assuming anything about Y|(X,Z). This flexibility in principle allows one to derive powerful test statistics from complex prediction algorithms while maintaining statistical validity. Yet the direct use of such advanced test statistics in the CRT is prohibitively computationally expensive, especially with multiple testing, due to the CRT's requirement to recompute the test statistic many times on resampled data. We propose the distilled CRT, a novel approach to using state-of-the-art machine learning algorithms in the CRT while drastically reducing the number of times those algorithms need to be run, thereby taking advantage of their power and the CRT's statistical guarantees without suffering the usual computational expense. In addition to distillation, we propose a number of other tricks like screening and recycling computations to further speed up the CRT without sacrificing its high power and exact validity. Indeed, we show in simulations that all our proposals combined lead to a test that has similar power to the most powerful existing CRT implementations but requires orders of magnitude less computation, making it a practical tool even for large data sets. We demonstrate these benefits on a breast cancer dataset by identifying biomarkers related to cancer stage.

研究动机与目标

• 为解决在多重检验下反复运行复杂机器学习模型带来的高计算成本问题，特别是在条件随机化检验（CRT）中的应用。
• 在大幅减少模型重新计算次数的同时，保持CRT的精确第一类错误控制与高统计效能。
• 实现在高维设置下对强大机器学习基测试统计量的实际应用，而标准CRT在此类场景中不可行。
• 构建一个整合模型蒸馏、筛选与计算复用的框架，实现可扩展的条件独立性检验。

提出的方法

• 提出一种蒸馏CRT，通过训练一个轻量级代理模型（学生）来模仿在原始数据上训练的复杂基模型（教师）的预测结果。
• 利用蒸馏模型在重采样数据上计算检验统计量，从而减少每次重采样后对完整模型的重新训练需求。
• 应用筛选技术预先过滤无关协变量，减少检验数量与计算负载。
• 在不同重采样之间复用中间计算结果，避免对相似数据重复评估同一模型。
• 采用无需重采样的CRT变体，基于蒸馏模型输出进行逻辑回归，进一步加速推断过程。
• 将所有技术整合为统一流程，在保持精确有效性与高统计效能的同时，最大限度减少运行时间。

实验结果

研究问题

• RQ1 我们能否在降低在重采样数据上运行复杂模型的计算负担的同时，仍保持CRT的精确第一类错误控制？
• RQ2 模型蒸馏在条件独立性检验中，对保持基于机器学习的检验统计量效能方面有多有效？
• RQ3 筛选与计算复用在多大程度上可进一步加速CRT，而不损害其有效性或效能？
• RQ4 在真实世界数据上，与oCRT、HRT和 knockoffs 等现有方法相比，蒸馏CRT在速度、效能与错误发现率控制方面表现如何？

主要发现

• 蒸馏CRT即使使用复杂模型，其效能仍可与现有最强大的CRT实现方法相媲美。
• 与标准CRT相比，该方法将计算时间减少了数量级，使其适用于大规模数据集。
• 在乳腺癌数据集中，蒸馏CRT在FDR控制下成功识别出已知生物标志物FBXW7、GPS2与RUNX1，检测频率较高。
• dI CRT（结合筛选的蒸馏CRT）在α=0.1时100%检测到前10名基因，优于oCRT与HRT在关键基因上的检测频率。
• 该方法在所有模拟与真实数据实验中均保持了精确的第一类错误控制，验证了其统计严谨性。
• 蒸馏、筛选与计算复用的组合在实际中实现了100至1000倍的加速，且未损失效能。