[論文レビュー] Unsupervised Cipher Cracking Using Discrete GANs

Aidan N. Gomez, Sicong Huang+4 more|arXiv (Cornell University)|Jan 15, 2018

Advanced Malware Detection Techniques参考文献 23被引用数 24

ひとこと要約

この論文では、CycleGANにインspiredされた離散的GANベースのフレームワーク、CipherGANを提案する。これは、教師なしで、ペair化されていない暗号文および平文シーケンスを、シフト暗号およびヴィジェネール暗号を解読するためのマッピングを学習する。ヤコビアンノルム正則化を施した埋め込み空間で動作させることで、文字レベルの暗号ではほぼ完璧な正確性（最大99.8％）を達成し、大規模語彙を有する単語レベルのヴィジェネール暗号では75.7％の正確性を達成した。一方、離散変数の連続的リラクゼーションにより、情報のない識別を回避した。

ABSTRACT

This work details CipherGAN, an architecture inspired by CycleGAN used for inferring the underlying cipher mapping given banks of unpaired ciphertext and plaintext. We demonstrate that CipherGAN is capable of cracking language data enciphered using shift and Vigenere ciphers to a high degree of fidelity and for vocabularies much larger than previously achieved. We present how CycleGAN can be made compatible with discrete data and train in a stable way. We then prove that the technique used in CipherGAN avoids the common problem of uninformative discrimination associated with GANs applied to discrete data.

研究の動機と目的

• ペair化されていない平文および暗号文から、人為的な言語的知識を提供せずに、暗号マッピングを推定する完全に教師なしのニューラルネットワークフレームワークの開発。
• 通常は不安定で重み初期化に敏感な離散的時系列データに対して、CycleGANの訓練を安定化すること。
• 離散的データに適用されたGANで一般的に見られる「情報のない識別」問題を、埋め込み空間の操作による連続的リラクゼーションを導入することで解決すること。
• モデルが多様な暗号タイプおよび語彙サイズ（例：200語）にわたって一般化できることを実証すること。
• 暗号解読をゼロショット言語翻訳問題として扱うことで、教師なしのテキスト対テキスト翻訳の基盤を確立すること。

提案手法

• サイクル整合性を用いて、平文と暗号文の分布間の双方向マッピングを学習する生成器を訓練することで、離散的時系列データにCycleGANアーキテクチャを適応する。
• 学習された埋め込みを介して離散変数の連続的リラクゼーションを導入し、バックプロパゲーション中に離散トークンを通過する勾配を可能にする。
• 訓練の安定化と重み初期化への感受性の低減を図るため、ヤコビアンノルム正則化を適用し、すべての実行で収束性を向上させる。
• 特にヴィジェネール暗号において重要である、シーケンス構造の保持のため、学習された位置埋め込みを入力埋め込みに連結するタイミング信号を用いる。
• 再構築されたシーケンスと実際のシーケンスを比較するように動作する識別器を採用し、敵対的訓練によって忠実度を強制する。
• 訓練は、敵対的損失、サイクル整合性損失、および勾配ペナルティ（α=10）の組み合わせを用い、訓練の安定性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、人為的ラベルのない言語的特徴を提供せずに、ペア化されていない平文および暗号文シーケンスから暗号マッピングを逆算的に学習できるか？
• RQ2 標準的なGANが勾配消失や情報のない識別に苦しむ離散的時系列データ（例：テキスト）に対して、CycleGANをどのように安定化・効果的にすることができるか？
• RQ3 連続的リラクゼーションを伴う埋め込み空間での動作は、離散的GANにおける情報のない識別問題を緩和できるか？
• RQ4 このようなモデルは、暗号タイプ（例：シフト vs. ヴィジェネール）および語彙サイズにわたって、どの程度一般化できるか？
• RQ5 先行手法が困難としていた大語彙暗号（例：200語語彙）において、モデルは高い正確性を達成できるか？

主な発見

• 10語語彙のシフト暗号では100％の正確性を達成し、200語語彙でも98.7％の正確性を示した。語彙サイズの変動に対しても高い頑健性を示した。
• キーレングスが3のヴィジェネール暗号において、文字レベルマッピングで99.7％、単語レベルマッピングで75.7％の正確性を達成し、ベースラインの周波数分析を著しく上回った。
• 訓練実行間でほぼ完璧な一貫性を示し、失敗した実行が一切なかった（元のCycleGANでは約50％の成功率にとどまった）。
• 位置埋め込み（特に学習済み位置ベクトルの連結）の使用により、ヴィジェネール暗号の性能が著しく向上したが、長期間のシーケンスへの一般化は制限された。
• 初期段階でのマッピングは、頻度の高い文字に対して一貫して正しく行われており、古典的暗号解読と同様に周波数統計を活用していることが示唆された。
• 標点記号が頻繁に誤分類された。これは、スキップグラム埋め込みが互いに類似しすぎていたため、継続的な誤分類を引き起こしたと考えられる。