[论文解读] Interventional Robustness of Deep Latent Variable Models.

Raphael Suter, Djordje Miladinovic+2 more|arXiv (Cornell University)|Oct 31, 2018

Domain Adaptation and Few-Shot Learning被引用 17

一句话总结

本文提出了一种用于评估深度潜在变量模型的因果框架，将解耦性和域偏移鲁棒性视为特例。它提出了一种新型可扩展度量方法，可用于从标注的观察数据中通过线性时间算法估计，实现定量评估。

ABSTRACT

The ability to learn disentangled representations that split underlying sources of variation in high dimensional, unstructured data is important for data efficient and robust use of neural networks. While various approaches aiming towards this goal have been proposed in recent times, a commonly accepted definition and validation procedure is missing. We provide a causal perspective on representation learning which covers disentanglement and domain shift robustness as special cases. Our causal framework allows us to introduce a new metric for the quantitative evaluation of deep latent variable models. We show how this metric can be estimated from labeled observational data and further provide an efficient estimation algorithm that scales linearly in the dataset size.

研究动机与目标

• 为深度潜在变量模型中解耦表示缺乏标准化定义和评估程序的问题提供解决方案。
• 在单一因果框架下统一解耦性和域偏移鲁棒性。
• 开发一种可量化的度量方法，用于评估潜在变量模型中的表示质量。
• 实现从标注观察数据中对所提度量的高效线性时间估计。

提出的方法

• 将表示学习建模为因果推断问题，使用结构因果模型来描述数据生成过程。
• 在该框架内将解耦性和域偏移鲁棒性定义为特定的因果属性。
• 引入一种基于反事实干预的新度量方法，以量化表示质量。
• 设计一种估计算法，利用标注数据计算该度量，其计算复杂度随数据集规模线性增长。
• 利用观察数据估计干预效应，而无需依赖干预数据。
• 确保该度量具有可解释性，并与模型鲁棒性和解耦性直接关联。

实验结果

研究问题

• RQ1 如何在单一理论框架下正式统一解耦性和域偏移鲁棒性？
• RQ2 何种度量能够对深度潜在变量模型的鲁棒性和解耦性进行定量评估？
• RQ3 此类度量能否从标注的观察数据中高效估计，而无需依赖干预数据？
• RQ4 所提度量与模型在分布偏移下的性能之间有何相关性？

主要发现

• 所提出的因果框架成功地将解耦性和域偏移鲁棒性统一为更广泛因果原理的特例。
• 新度量提供了一种可量化且可解释的表示质量度量方法，适用于深度潜在变量模型。
• 该度量可利用随数据集规模线性增长的算法，从标注的观察数据中进行估计。
• 该方法可在无需额外干预数据的情况下，实现对模型鲁棒性和解耦性的高效评估。