[論文レビュー] Alice in Passphraseland: Assessing the Memorability of Familiar Vocabularies for System-Assigned Passphrases

Noopa Jagadeesh, Miguel Vargas Martín|arXiv (Cornell University)|Dec 6, 2021

User Authentication and Security Systems被引用数 4

ひとこと要約

本研究では、ユーザーが慣れ親しんだ固有の語彙（例：物語から抽出）を用いて微調整されたGPT-2で生成されたシステムが割り当てるパスフレーズを提案し、記憶しやすさを向上させつつもセキュリティを維持する。500名の参加者を対象としたオンライン研究において間隔反復法を用い、熟語的で自然な英語の文としてのパスフレーズが、ランダムな共通語彙から生成されたパスフレーズと同等の記憶度を示した。これは、実用的で安全な認証方法の可能性を示唆している。

ABSTRACT

Text-based secrets are still the most commonly used authentication mechanism in information systems. IT managers must strike a balance between security and memorability while developing password policies. Initially introduced as more secure authentication keys that people could recall, passphrases are passwords consisting of multiple words. However, when left to the choice of users, they tend to choose predictable natural language patterns in passphrases, resulting in vulnerability to guessing attacks. System-assigned authentication keys can be guaranteed to be secure, but this comes at a cost to memorability. In this study we investigate the memorability of system-assigned passphrases from a familiar vocabulary to the user. The passphrases are generated with the Generative Pre-trained Transformer 2 (GPT-2) model trained on the familiar vocabulary and are readable, pronounceable, sentence like passphrases resembling natural English sentences. Through an online user study with 500 participants on Amazon Mechanical Turk, we test our hypothesis - following a spaced repetition schedule, passphrases as natural English sentences, based on familiar vocabulary are easier to recall than passphrases composed of random common words. As a proof-of-concept, we tested the idea with Amazon Mechanical Turk participants by assigning them GPT-2 generated passphrases based on stories they were familiar with. Contrary to expectations, following a spaced repetition schedule, passphrases as natural English sentences, based on familiar vocabulary performed similarly to system-assigned passphrases based on random common words.

研究の動機と目的

• 熟しみのある自然な言語的語彙に基づくシステムが割り当てるパスフレーズが、ランダムな共通語彙から生成されたパスフレーズよりも記憶に優れているかどうかを調査すること。
• ユーザーが慣れ親しんだ物語から抽出した語彙を用いてGPT-2が読みやすく発音しやすい文のようなパスフレーズを生成することの、ユーザーの記憶性能に与える影響を評価すること。
• 間隔反復スケジュールが、システムが割り当てるパスフレーズの長期的記憶性を向上させる効果を評価すること。
• ユーザー自身の趣味や関心に基づく語彙を用いて、ユーザーが選択したパターンに依存せずに、安全で記憶に優れたパスフレーズを生成する可能性を検討すること。
• 制御された条件下で、自然言語（例：物語）から抽出したパスフレーズとランダムな共通語彙から抽出したパスフレーズの記憶性を比較すること。

提案手法

• 『パasionと予防』『シャーロック・ホームズの冒険』『リトル・アリス』という3つの公衆領域の物語から抽出した、選別されたユーザーが慣れ親しんだ語彙を用いてGPT-2を微調整した。
• 生成されたパスフレーズは、元の物語の文法的構造と語彙を反映した自然な英語の文（5〜7語）としてシステムが割り当てる。
• Amazon Mechanical Turkを用いて、6回の記憶テストラウンドを実施した、500名の参加者を対象としたオンラインユーザースタディを実施。間隔反復スケジュールを採用。
• 熟しみのある物語からのパスフレーズ（自然言語スタイル）とランダムな共通語彙から生成されたパスフレーズ（4語、構造なし）の記憶性能を比較した。
• 記憶の正確さと、記憶されたパスフレーズと割り当てられたパスフレーズとの類似度スコア（ジャカード係数）を測定した。
• セキュリティの評価にはエントロピーと限界的推測度指標を用い、ランダムパスフレーズは30ビットのエントロピーを示し、物語ベースのパスフレーズは14.7〜16.8ビットの範囲であった。

実験結果

リサーチクエスチョン

• RQ1 熟しみのある自然な言語的語彙に基づいて生成されたシステムが割り当てるパスフレーズは、ランダムな共通語彙から生成されたパスフレーズよりも記憶に優れているか？
• RQ2 間隔反復スケジュールは、熟しみのある物語に基づくシステムが割り当てるパスフレーズの長期的記憶性を向上させるのにどの程度効果的か？
• RQ3 GPT-2を用いて物語ベースの語彙から生成されたパスフレーズは、構造的・語彙的にどの程度自然な英語に類似しているか？
• RQ4 制御されたユーザースタディにおいて、パスフレーズの長さ、語彙のなじみやすさ、記憶性能の関係は何か？
• RQ5 GPT-2で生成された物語ベースのパスフレーズは、ランダムパスフレーズと同等の記憶性を達成しつつ、十分なエントロピーを維持できるか？

主な発見

• 熟しみのある物語（例：『リトル・アリス』『パasionと予防』）に基づくパスフレーズは、最終回の記憶テストで89.7％の成功率を示し、ランダム4語パスフレーズ条件の100％の成功率と同等であった。
• 物語ベースのパスフレーズの失敗率は時間とともに低下した：『リトル・アリス』では第1ラウンドで33.6％、第6ラウンドで10.29％に低下し、間隔反復による記憶の向上が確認された。
• 『リトル・アリス』の7語パスフレーズでは、22件の誤った記憶がジャカード係数0.40未満であった。最低値は0.24であり、記憶の誤りが多様であることが示された。
• ランダム4語パスフレーズは30ビットのエントロピーであったが、最高性能を示した物語ベースのパスフレーズ（『パasionと予防』、5-gram）は16.8ビットの限界的推測度を示し、エントロピーは低かったが、使いやすさは優れていた。
• エントロピーが低くても、物語ベースのパスフレーズはランダムパスフレーズと同等の正確さで記憶されていたため、エントロピーが低下しても記憶に著しい悪影響がないことが示唆された。
• 本研究では、間隔反復スケジュール下で、自然言語的で物語ベースのパスフレーズとランダムな共通語彙から生成されたパスフレーズとの間で、長期的記憶性能に有意差は認められなかった。