[论文解读] Identifying Best Interventions through Online Importance Sampling

Rajat Sen, Karthikeyan Shanmugam+2 more|arXiv (Cornell University)|Jan 10, 2017

Advanced Bandit Algorithms Research参考文献 34被引用 20

一句话总结

该论文提出了一种基于在线重要性采样算法 SRISv2，用于在因果图中源节点的 K 个软干预中识别出能最大化下游目标结果期望值的最佳干预。通过利用干预之间的信息泄露以及重要性采样中的自适应裁剪，该方法在误差和遗憾边界方面实现了改进，优于流式细胞术和图像分类数据集上的最先进方法。

ABSTRACT

Motivated by applications in computational advertising and systems biology, we consider the problem of identifying the best out of several possible soft interventions at a source node $V$ in an acyclic causal directed graph, to maximize the expected value of a target node $Y$ (located downstream of $V$). Our setting imposes a fixed total budget for sampling under various interventions, along with cost constraints on different types of interventions. We pose this as a best arm identification bandit problem with $K$ arms where each arm is a soft intervention at $V,$ and leverage the information leakage among the arms to provide the first gap dependent error and simple regret bounds for this problem. Our results are a significant improvement over the traditional best arm identification results. We empirically show that our algorithms outperform the state of the art in the Flow Cytometry data-set, and also apply our algorithm for model interpretation of the Inception-v3 deep net that classifies images.

研究动机与目标

• 在固定采样预算下，识别因果图中源节点的最佳软干预，以最大化下游目标节点的期望值。
• 应对干预选择中数据有限和成本约束的挑战，特别是在计算广告和系统生物学等应用中。
• 开发一种类似多臂赌博机的算法，利用干预之间的信息泄露以提高样本效率并减少误差和遗憾。
• 为具有软干预的因果赌博机设置中最佳动作识别问题，首次提供依赖于差距的误差和简单遗憾边界。
• 实现在实际系统中部署的可行性，其中干预成本高昂且数据收集受限。

提出的方法

• 将干预选择问题建模为具有 K 个动作的最优动作识别赌博机问题，每个动作对应节点 V 处的不同软干预。
• 使用带有自适应裁剪的在线重要性采样来估计每个干预在目标节点 Y 上的期望结果。
• 引入一种新颖的 f-散度度量，以量化干预分布之间的统计差异，从而实现对估计误差的更紧边界。
• 采用一种后续拒绝算法（SRISv2），根据估计性能和差异度量自适应地在各动作之间分配样本。
• 将前期的样本纳入当前阶段的估计器中，并采用阶段特定的裁剪策略，以提高估计精度并降低方差。
• 利用已知的条件分布 P(V|pa(V)) 和因果图的结构，高效计算重要性权重。

实验结果

研究问题

• RQ1 在固定采样预算下，如何高效地识别因果图中多个软干预中的最佳干预？
• RQ2 在因果赌博机设置中，如何最优分配样本以最小化估计误差和遗憾？
• RQ3 如何利用干预之间的信息泄露来提高干预选择中的样本效率？
• RQ4 在具有软干预的因果图中，最佳动作识别的问题依赖于问题的误差和遗憾边界是什么？
• RQ5 在重要性采样中采用自适应裁剪是否能带来比静态或无裁剪更紧的理论保证和更好的经验性能？

主要发现

• 所提出的 SRISv2 算法首次为具有软干预的因果赌博机设置中的最佳动作识别问题提供了依赖于差距的误差和简单遗憾边界。
• SRISv2 在流式细胞术数据集上优于最先进算法，尤其在低差异和中等差距条件下表现更优。
• 实证结果表明，由于采用了自适应裁剪和信息泄露的利用，SRISv2 在多种设置下均保持了强劲性能。
• 即使对非最优动作的预算被限制在 √T 时，该算法仍表现出鲁棒性，表明其具有强大的样本效率。
• 理论分析表明，该算法的性能依赖于干预分布之间的 f-散度和奖励差距 Δ，其边界比传统赌博机方法更紧。
• 作者推测，通过消除边界表达式中一个 log(1/Δk) 项，理论保证仍有进一步改进的可能。