[論文レビュー] Learning to Protect Communications with Adversarial Neural Cryptography

Martı́n Abadi, David G. Andersen|arXiv (Cornell University)|Oct 21, 2016

Adversarial Robustness in Machine Learning参考文献 19被引用数 119

ひとこと要約

論文は neural networks (Alice, Bob, Eve) をエンドツーエンドで学習させ、事前に定義された暗号アルゴリズムなしで情報の暗号化と選択的保護を敵対的な目的を通じて学習します。

ABSTRACT

We ask whether neural networks can learn to use secret keys to protect information from other neural networks. Specifically, we focus on ensuring confidentiality properties in a multiagent system, and we specify those properties in terms of an adversary. Thus, a system may consist of neural networks named Alice and Bob, and we aim to limit what a third neural network named Eve learns from eavesdropping on the communication between Alice and Bob. We do not prescribe specific cryptographic algorithms to these neural networks; instead, we train end-to-end, adversarially. We demonstrate that the neural networks can learn how to perform forms of encryption and decryption, and also how to apply these operations selectively in order to meet confidentiality goals.

研究の動機と目的

• ニューロナルネットワークが敵対者からの通信を保護することを学習できるかを調査する。
• エンドツーエンドの訓練を実証し、ニューラルネットワークによって学習される暗号化と復号を示す。
• データの特定の側面のみを保護する選択的情報保護を探る。
• 神経系設定における伝統的な暗号保証と学習された暗号システムを比較する。

提案手法

• 対称暗号化のための共有鍵を持つ3ネットワーク系（Alice、Bob、Eve）を提案する。
• Eve が平文再構成を最小化し、Alice/Bob が安全な通信を最大化するという目的を定式化する。
• L1ベースの再構成損失と、Eve の利得を差し引く形の Alice/Bob の複合目的を定義する。
• 学習されたプレーンテキストと鍵の混合を可能にする Mix & Transform ニューラルアーキテクチャを用い、その後畳み込み層を適用する。
• Alice/Bob と Eve の間で対立的に SGD (Adam) で訓練を交互に実施する。
• Eve を複数回再訓練して、Bob が再構成誤差を低く保てるか、Eve がランダム推測に近い状態を維持できるかを評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューロンネットワークは手作りのアルゴリズムなしで暗号化と復号の方式を発見できるか。
• RQ2 彼らは敵対者がある成分を推定できない一方で有用性を保つよう、選択的に暗号化を学習できるか。
• RQ3 学習された暗号システムは敵対者の再訓練に対してどれくらい頑健か。
• RQ4 エンドツーエンドの敵対的訓練から生じる暗号化パターンの特徴は何か。

主な発見

• ニューラルネットワークは暗号化と復号の形を学習し、それらの操作を機密性の目標を満たすために選択的に適用できる。
• 学習された暗号システムは秘密鍵と平文に依存し、 ciphertext は単純な XOR よりも複数の出力要素に跨る拡散を示す。
• 敵対的訓練により Bob の再構成精度を低下させ、Eve の再構成誤差をランダム推測に近づける方向に動かせるが、すべての実行で成功するとは限らない。
• 訓練のダイナミクスは進化的過程に似ており、不安定になることがある；ミニバッチサイズなどのハイパーパラメータで成功率が変動する。
• 選択的保護の実験は、エンドツーエンド学習を通じてデータの特定の成分を隠す一方で他の成分について有用な情報漏洩を許容することが可能であることを示している。