[论文解读] Learning to Protect Communications with Adversarial Neural Cryptography

Martı́n Abadi, David G. Andersen|arXiv (Cornell University)|Oct 21, 2016

Adversarial Robustness in Machine Learning参考文献 19被引用 119

一句话总结

本论文端到端训练神经网络（Alice、Bob、Eve），通过对抗目标学习信息的加密与选择性保护，而无需预定义的密码学算法。

ABSTRACT

We ask whether neural networks can learn to use secret keys to protect information from other neural networks. Specifically, we focus on ensuring confidentiality properties in a multiagent system, and we specify those properties in terms of an adversary. Thus, a system may consist of neural networks named Alice and Bob, and we aim to limit what a third neural network named Eve learns from eavesdropping on the communication between Alice and Bob. We do not prescribe specific cryptographic algorithms to these neural networks; instead, we train end-to-end, adversarially. We demonstrate that the neural networks can learn how to perform forms of encryption and decryption, and also how to apply these operations selectively in order to meet confidentiality goals.

研究动机与目标

• 研究神经网络是否能够在对抗性观察者存在的情况下学习保护通信。
• 证明端到端训练能够使神经网络学习到加密和解密。
• 探索选择性信息保护，即只对数据的某些方面提供保护。
• 在神经网络环境中，将学习到的加密系统与传统密码学保证进行比较。

提出的方法

• 提出一个包含三网络的系统（Alice、Bob、Eve），使用共享密钥进行对称加密。
• 设定目标，使Eve最小化明文重建，而Alice/Bob最大化安全通信。
• 定义基于L1的重建损失，以及一个综合的Alice/Bob目标，其减去Eve的优势。
• 使用混合与变换神经网络结构，允许对明文和密钥进行学习混合，随后是卷积层。
• 采用SGD（Adam）以对抗性、交替的方式在Alice/Bob与Eve之间进行训练。
• 通过多次重新训练Eve来评估鲁棒性，并评估Bob是否维持低重建误差，而Eve接近随机猜测。

实验结果

研究问题

• RQ1 神经网络是否能够在没有手工设计算法的情况下发现加密和解密方案？
• RQ2 它们是否能够学会选择性地进行加密，使对手无法推断某些组成部分，同时保留有用性？
• RQ3 学习得到的密码系统对对手重新训练的鲁棒性如何？
• RQ4 通过端到端对抗训练出现的加密模式有哪些特征？

主要发现

• 神经网络能够学习加密和解密的形式，并选择性地对这些操作进行应用以满足保密目标。
• 学习得到的加密系统取决于密钥和明文，密文在多个输出元素之间呈现扩散，而不是简单的XOR。
• 对抗性训练可以使Bob的重建准确度下降，同时使Eve的重建误差趋近于随机猜测，尽管在每次运行中并不保证成功。
• 训练动态类似于进化过程，可能不稳定；成功率随超参数如小批量大小等变化。
• 选择性保护实验表明，通过端到端学习，可以隐藏数据的某些组成部分，同时对其他部分允许有用的泄露。