[论文解读] Learning Perceptually-Aligned Representations via Adversarial Robustness.

Logan Engstrom, Andrew Ilyas+4 more|arXiv (Cornell University)|Jun 3, 2019

Adversarial Robustness in Machine Learning参考文献 22被引用 35

一句话总结

本文提出利用对抗鲁棒性作为手段，以在深度神经网络中学习感知对齐的高层特征表征。通过将鲁棒优化重新解释为在特征上施加结构先验的方法，作者表明鲁棒模型学习到近似可逆、可解释且语义有意义的表征，从而能够直接可视化和操作显著的输入特征。

ABSTRACT

An important goal in deep learning is to learn versatile, high-level feature representations of input data. However, standard networks' representations seem to possess shortcomings that, as we illustrate, prevent them from fully realizing this goal. In this work, we show that robust optimization can be re-cast as a tool for enforcing priors on the features learned by deep neural networks. It turns out that representations learned by robust models address the aforementioned shortcomings and make significant progress towards learning a high-level encoding of inputs. In particular, these representations are approximately invertible, while allowing for direct visualization and manipulation of salient input features. More broadly, our results indicate adversarial robustness as a promising avenue for improving learned representations. Our code and models for reproducing these results is available at this https URL .

研究动机与目标

• 解决标准深度神经网络表征中存在的局限性，这些局限性限制了其通用性和可解释性。
• 探究对抗鲁棒性是否可作为正则化归纳偏置，以改善学习到的特征表征。
• 实现高层、语义有意义且近似可逆的表征，以支持对输入特征的直接可视化和操作。
• 证明鲁棒优化通过施加与感知和结构输入特性一致的先验，来约束特征。

提出的方法

• 将鲁棒优化重新表述为在深度网络中施加结构先验于学习特征的机制。
• 使用对抗训练训练深度神经网络，以提升特征表征质量。
• 分析所得表征的可逆性、可解释性以及与显著输入结构的一致性。
• 使用可视化和操作技术评估学习到的特征的感知保真度。
• 将鲁棒模型与标准模型进行比较，以评估表征质量的提升。

实验结果

研究问题

• RQ1 能否利用对抗鲁棒性来提升学习到的深度特征表征质量？
• RQ2 鲁棒模型是否学习到近似可逆且语义有意义的表征？
• RQ3 鲁棒表征在多大程度上支持对显著输入特征的直接可视化和操作？
• RQ4 鲁棒优化通过施加何种先验，使特征更符合感知特性？

主要发现

• 鲁棒模型学习到的特征表征近似可逆，能够从特征中重建输入数据。
• 所学习的表征支持对显著输入特征的直接可视化和操作，表明其与感知特性对齐。
• 对抗鲁棒性作为一种有效的归纳偏置，可提升学习特征的语义质量和结构。
• 鲁棒模型在学习高层、解耦且可解释的输入数据表征方面优于标准模型。