[论文解读] Multi-Instance Causal Representation Learning for Instance Label Prediction and Out-of-Distribution Generalization

Weijia Zhang, Xuanhui Zhang+2 more|arXiv (Cornell University)|Feb 25, 2022

Image Retrieval and Classification Techniques被引用 6

一句话总结

该论文提出 CausalMIL，一种多实例因果表征学习框架，通过将潜在表征建模为条件非分解指数族分布，从袋级别监督中识别实例特定的因果因子。通过解耦因果因子与虚假因子，CausalMIL 在合成数据集和真实世界数据集上的实例标签预测与分布外泛化性能均达到最先进水平，显著优于现有深度多实例学习方法。

ABSTRACT

Multi-instance learning (MIL) deals with objects represented as bags of instances and can predict instance labels from bag-level supervision. However, significant performance gaps exist between instance-level MIL algorithms and supervised learners since the instance labels are unavailable in MIL. Most existing MIL algorithms tackle the problem by treating multi-instance bags as harmful ambiguities and predicting instance labels by reducing the supervision inexactness. This work studies MIL from a new perspective by considering bags as auxiliary information, and utilize it to identify instance-level causal representations from bag-level weak supervision. We propose the CausalMIL algorithm, which not only excels at instance label prediction but also provides robustness to distribution change by synergistically integrating MIL with identifiable variational autoencoder. Our approach is based on a practical and general assumption: the prior distribution over the instance latent representations belongs to the non-factorized exponential family conditioning on the multi-instance bags. Experiments on synthetic and real-world datasets demonstrate that our approach significantly outperforms various baselines on instance label prediction and out-of-distribution generalization tasks.

研究动机与目标

• 通过从袋级别监督中识别语义上有意义的因果因子，弥合弱监督多实例学习与全监督学习之间的性能差距。
• 通过将因果表征与虚假的、从袋中继承的因子解耦，改进实例标签预测。
• 通过确保预测模型仅依赖于实例特定的因果因子而非虚假相关性，提升分布外泛化能力。
• 在基于袋条件的实用非分解指数族先验下，建立因果表征的可识别性。
• 提供一个统一框架，协同多实例学习与可识别变分自编码器，实现鲁棒表征学习。

提出的方法

• CausalMIL 将每个实例建模为由两个潜在因子生成：实例特定的因果因子 $\bm{z}^c_{ij}$ 和袋继承的非因果因子 $\bm{z}^e_{ij}$，其中袋标签作为实例标签的效应。
• 采用变分自编码器，并在给定袋的条件下对 $\bm{z}^c_{ij}$ 使用条件先验，使其属于非分解指数族，从而实现因果因子的可识别性。
• 模型使用解耦目标，鼓励实例特定因子 $\bm{z}^c_{ij}$ 预测实例标签，同时最小化对 $\bm{z}^e_{ij}$ 的依赖。
• 关键组件是利用袋级别监督引导解耦，确保仅因果因子影响预测，从而提升对分布偏移的鲁棒性。
• 该框架将多实例学习与可识别变分自编码器相结合，利用袋级别信息的丰富性，识别并隔离有意义的因果表征。
• 该方法通过可微目标端到端训练，平衡重建、解耦与预测性能。

实验结果

研究问题

• RQ1 能否将多实例袋不仅视为噪声，而是作为辅助信息，用于识别实例级因果表征？
• RQ2 在弱监督下，将因果因子与虚假潜在因子解耦是否能提升实例标签预测性能？
• RQ3 能否通过从袋级别标签进行因果表征学习，提升弱监督设置下的分布外泛化能力？
• RQ4 在基于袋条件的非分解指数族先验下，是否可能在多实例学习中实现因果因子的可识别解耦？
• RQ5 CausalMIL 在分布内与分布外性能方面，相较于现有深度多实例学习方法表现如何？

主要发现

• CausalMIL 在半合成与真实世界数据集上的实例标签预测任务中，显著优于最先进深度多实例学习算法。
• 该模型通过仅依赖实例特定的因果因子，实现更优的分布外泛化能力，减少对袋继承因子中虚假相关性的依赖。
• 实证结果表明，将 $\bm{z}^c_{ij}$ 与 $\bm{z}^e_{ij}$ 解耦，可获得比未执行此类解耦的模型更鲁棒、更具泛化能力的表征。
• 使用条件非分解指数族先验，实现了因果因子的可识别学习，这是该方法成功的关键驱动因素。
• 即使在袋级别标签存在噪声或损坏的情况下，CausalMIL 仍表现出强大性能，表明其对监督不精确性的内在鲁棒性。
• 定性分析证实，推断出的 $\bm{z}^c_{ij}$ 因子捕捉了语义上有意义且解耦的表征，如图像重建质量与解耦程度所示。