[论文解读] Evading the Adversary in Invariant Representation

Daniel Moyer, Shuyang Gao+3 more|arXiv (Cornell University)|May 24, 2018

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种非对抗性的、基于信息论的方法，通过优化单一目标来学习对干扰因子不变的表示，该目标平衡了任务性能与对干扰因子的不变性。该方法在公平表示学习和可控生成建模方面表现优于或匹配最先进的对抗性方法，且无需迭代的极小化极大训练。

ABSTRACT

Representations of data that are invariant to changes in specified factors are useful for a wide range of problems: removing potential biases in prediction problems, controlling the effects of covariates, and disentangling meaningful factors of variation. Unfortunately, learning representations that exhibit invariance to arbitrary nuisance factors yet remain useful for other tasks is challenging. Existing approaches cast the trade-off between task performance and invariance in an adversarial way, using an iterative minimax optimization. We show that adversarial training is unnecessary and sometimes counter-productive; we instead cast invariant representation learning as a single information-theoretic objective that can be directly optimized. We demonstrate that this approach matches or exceeds performance of state-of-the-art adversarial approaches for learning fair representations and for generative modeling with controllable transformations.

研究动机与目标

• 解决在保持下游任务实用性的同时，学习对干扰因子不变表示的挑战。
• 克服对抗训练在不变表示学习中固有的不稳定性与反效果问题。
• 开发一种统一的、非对抗性的优化框架，直接平衡不变性与任务性能。
• 证明单一的信息论目标可替代不变表示学习中的迭代极小化极大过程。

提出的方法

• 将不变表示学习表述为单一的信息论目标，该目标在预测准确率与对干扰因子的不变性之间进行权衡。
• 通过最小化表示与干扰因子之间的互信息来强制实现不变性。
• 使用标准反向传播端到端优化目标，避免对抗训练循环。
• 将该目标整合到判别式与生成式建模框架中，以实现广泛适用性。
• 利用变分推理以可微分方式近似信息论项。
• 将该方法应用于公平表示学习与可控解耦生成建模。

实验结果

研究问题

• RQ1 非对抗性、单目标方法能否在学习不变表示方面达到或超越对抗性方法的性能？
• RQ2 在表示学习中实现不变性是否必须依赖对抗训练，还是可能产生反效果？
• RQ3 统一的信息论目标能否在多样化任务中有效平衡不变性与预测实用性？
• RQ4 与最先进方法相比，该方法在公平表示学习和可控生成方面的表现如何？

主要发现

• 所提方法在学习公平表示方面，性能与最先进对抗方法相当或更优。
• 该方法消除了对迭代极小化极大优化的需求，简化了训练过程并提高了稳定性。
• 在具有可控解耦因子的生成建模方面表现优异，性能与最先进方法相当或更优。
• 信息论目标在无需对抗干扰的情况下，有效平衡了对干扰因子的不变性与任务性能。