[論文レビュー] Generative Deep Learning Techniques for Password Generation

David Biesner, Kostadin Cvejoski+3 more|arXiv (Cornell University)|Dec 10, 2020

User Authentication and Security Systems参考文献 26被引用数 5

ひとこと要約

この論文は、アテンションベースのトランスフォーマー、GAN、および新規の変分オートエンコーダー（VAE）を含む深層学習モデルを用いて、現実的で信頼性の高いパスワード候補を生成する性能を評価している。提案されたVAEは、パスワード一致性能において最先端の性能を達成し、補間や標的生成といった高度なサンプリング技術を可能にし、従来のオートエンコーディングおよびGANベースの手法を上回っている。

ABSTRACT

Password guessing approaches via deep learning have recently been investigated with significant breakthroughs in their ability to generate novel, realistic password candidates. In the present work we study a broad collection of deep learning and probabilistic based models in the light of password guessing: attention-based deep neural networks, autoencoding mechanisms and generative adversarial networks. We provide novel generative deep-learning models in terms of variational autoencoders exhibiting state-of-art sampling performance, yielding additional latent-space features such as interpolations and targeted sampling. Lastly, we perform a thorough empirical analysis in a unified controlled framework over well-known datasets (RockYou, LinkedIn, Youku, Zomato, Pwnd). Our results not only identify the most promising schemes driven by deep neural networks, but also illustrate the strengths of each approach in terms of generation variability and sample uniqueness.

研究の動機と目的

• 深層学習モデルと確率的モデルの両方が、現実的で信頼性の高いパスワード候補を生成する能力を評価・比較すること。
• 潜在空間の能力を強化した新たな変分オートエンコーダー（VAE）モデルを設計・分析すること。
• 一般言語データでの事前学習と純粋なパスワードデータでの学習の違いが、深層学習モデルの性能に与える影響を評価すること。
• 標準的なパスワードデータセットを用いて、多様な生成モデルを統一された実証的フレームワークで比較すること。
• 異なるモデルが独自のパスワードを回復する際の相乗効果を調査し、全体の回復性能を向上させること。

提案手法

• パスワードデータセットにファインチューニングされたアテンションベースのトランスフォーマー（例：GPT-2の変種）を用い、文脈を考慮したシーケンス生成を実現する。
• 生成対抗ネットワーク（GAN）およびワルシャール・GANを用いて、敵対的訓練により実際のパスワードの分布を学習する。
• 潜在空間モデリングを改善した新規の変分オートエンコーダー（VAE）を導入し、補間や条件付きサンプリングを可能にする。
• RockYou、LinkedIn、Youku、Zomato、Pwndの5つのベンチマークデータセットを用いて統一された評価フレームワークを構築する。
• モデルの性能に与える影響を比較するため、パスワード固有のデータと一般言語データの両方で学習を実施する。
• パスワード一致率（テストパスワードの回収率）といった標準的な指標を用い、生成されたサンプルの多様性と一意性を評価する。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースのトランスフォーマーは、オートエンコーダーやGANと比較して、現実的で信頼性の高いパスワード候補を生成する上でどの程度優れているか？
• RQ2 一般言語データでの事前学習は、パスワード専用データでの学習と比較して、パスワード生成性能をどの程度向上させるか？
• RQ3 変分オートエンコーダー（VAE）は、パスワード一致性能において最先端の性能を達成しつつ、高度なサンプリング能力を備えているか？
• RQ4 複数のモデルを組み合わせることで、どの程度の独自パスワードが回復され、各モデル間で回復されたパスワードにどの程度の重複があるか？
• RQ5 VAEの潜在空間幾何構造は、学習および正則化にどの程度敏感であり、標的生成にどのような影響を及えるか？

主な発見

• 提案されたVAEモデルは、RockYouデータセットから118万個のパスワードを回収し、従来のオートエンコーディング手法を上回る最先端のパスワード一致性能を達成した。
• VAEは、潜在空間の補間や標的サンプリングといった高度なサンプリング技術を可能にし、標準的なオートエンコーダーと比較してはるかに柔軟性に優れている。
• RockYouデータで学習したGPT-2ベースのモデルは、テストセットの約40％のパスワードを回収したが、モデル間で重複は見られたものの、顕著な独自回収も確認された。
• GPT2F、GPT2S、VAE、PassGANなどの複数モデルを組み合わせることで、RockYouテストセットから150万個の独自パスワードが回収された——これは最良の単一モデル（110万）よりも30％多い。
• Pwndデータセットでテストしたところ、モデルのアンサンブルは1310万個の独自パスワードを回収した——これは最良の単一モデル（VAE、845万）よりも55％多い。
• RockYouデータで学習したモデルは、Pwndデータで学習したモデルよりも顕著に優れており、RockYouで学習したモデルが回収した独自パスワードのうち39万1000個は、Pwndで学習したモデルでは回収されなかった。