[论文解读] Unsupervised Adversarial Invariance

Ayush Jaiswal, Rex Yue Wu+2 more|arXiv (Cornell University)|Sep 26, 2018

Adversarial Robustness in Machine Learning被引用 22

一句话总结

本文提出了一种无监督对抗不变性框架，通过竞争性训练预测器与重构器，利用对抗解缠模块将预测因子与干扰因子分离，从而学习解耦表示。该方法在不变性学习、数据增强和域自适应任务中均实现了最先进性能，且无需依赖标注的干扰因子或领域知识。

ABSTRACT

Data representations that contain all the information about target variables but are invariant to nuisance factors benefit supervised learning algorithms by preventing them from learning associations between these factors and the targets, thus reducing overfitting. We present a novel unsupervised invariance induction framework for neural networks that learns a split representation of data through competitive training between the prediction task and a reconstruction task coupled with disentanglement, without needing any labeled information about nuisance factors or domain knowledge. We describe an adversarial instantiation of this framework and provide analysis of its working. Our unsupervised model outperforms state-of-the-art methods, which are supervised, at inducing invariance to inherent nuisance factors, effectively using synthetic data augmentation to learn invariance, and domain adaptation. Our method can be applied to any prediction task, eg., binary/multi-class classification or regression, without loss of generality.

研究动机与目标

• 解决在监督学习中不依赖标注干扰因子或特定领域知识来学习不变表示的挑战。
• 开发一种通过预测与重构任务之间的竞争性训练来诱导不变性的框架。
• 通过合成数据增强实现有效的不变性学习，同时避免对已见干扰变化的过拟合。
• 在无需架构修改的情况下，泛化至分类、回归和域自适应等多种任务。
• 消除对标注干扰因子的需求，而这些因子通常难以获取或不切实际。

提出的方法

• 模型学习一种拆分表示：e₁ 用于预测，e₂ 用于重构，其中 e₁ 是用于重构的噪声版本。
• 在预测器（使用 e₁）与解码器（使用 e₁̃ 和 e₂）之间建立竞争性训练目标，以促进信息分离。
• 通过两个对抗解缠模块强制实现解缠：一个从 e₁ 预测 e₂，另一个从 e₂ 预测 e₁，二者通过对抗方式训练。
• 通过主网络与解缠模块之间的对抗优化，端到端训练整个模型。
• 该框架与数据模态无关，可应用于任何监督任务，包括分类与回归。
• 无需对干扰因子进行监督，使其适用于零样本或弱监督设置。

实验结果

研究问题

• RQ1 能否在无监督条件下，通过不标注因子注释，有效诱导对固有干扰因子的不变性？
• RQ2 预测与重构之间的竞争性训练在多大程度上提升了对未见干扰变化的鲁棒性？
• RQ3 对抗解缠能否有效分离潜在空间中的预测因子与非预测因子？
• RQ4 当训练期间干扰因子未被完全观测时，该方法是否优于监督不变性方法？
• RQ5 该模型在无领域特定监督的情况下，对域自适应任务的泛化能力如何？

主要发现

• 在 CelebA 数据集上，所提模型在学习对固有干扰因子的不变性方面，优于最先进的监督方法（包括 CAI 和基线方法）。
• 在 CelebA 数据集上，该模型在未见干扰变化下的准确率显著高于 CAI 和基线方法，表现出更强的鲁棒性。
• 在 Amazon Reviews 数据集的十二项域自适应任务中，该模型在九项任务上优于 VFAE 和 DANN，展现出强大的跨域泛化能力。
• 在域自适应任务中，该模型在电子商品到厨房用品的迁移任务上达到 89.0% 的准确率，超过 DANN（85.4%）和 VFAE（85.0%）。
• 消融实验证实，即使干扰因子未被标注，该模型的性能依然稳健，而监督方法在类似条件下性能显著下降。
• 对抗解缠模块成功分离了预测因子与非预测因子，使模型能够泛化至未见的干扰变化。