[논문 리뷰] Alice in Passphraseland: Assessing the Memorability of Familiar Vocabularies for System-Assigned Passphrases

Noopa Jagadeesh, Miguel Vargas Martín|arXiv (Cornell University)|2021. 12. 06.

User Authentication and Security Systems인용 수 4

한 줄 요약

이 연구는 유저가 익숙한 전문 어휘(예: 이야기에서 추출한 어휘)를 기반으로 미세조정된 GPT-2로 생성한 시스템 할당 비밀번호를 제안하여 기억력은 향상시키면서도 보안성을 유지한다. 간격 반복을 적용한 500명의 참가자 대상 온라인 연구를 통해, 익숙한 이야기에서 유래한 자연스러운 문장형 영어 비밀번호가 무작위 공통어 비밀번호와 유사한 기억력 성능을 보였으며, 이는 사용자 친화적이고 안전한 인증 방법의 잠재력을 시사한다.

ABSTRACT

Text-based secrets are still the most commonly used authentication mechanism in information systems. IT managers must strike a balance between security and memorability while developing password policies. Initially introduced as more secure authentication keys that people could recall, passphrases are passwords consisting of multiple words. However, when left to the choice of users, they tend to choose predictable natural language patterns in passphrases, resulting in vulnerability to guessing attacks. System-assigned authentication keys can be guaranteed to be secure, but this comes at a cost to memorability. In this study we investigate the memorability of system-assigned passphrases from a familiar vocabulary to the user. The passphrases are generated with the Generative Pre-trained Transformer 2 (GPT-2) model trained on the familiar vocabulary and are readable, pronounceable, sentence like passphrases resembling natural English sentences. Through an online user study with 500 participants on Amazon Mechanical Turk, we test our hypothesis - following a spaced repetition schedule, passphrases as natural English sentences, based on familiar vocabulary are easier to recall than passphrases composed of random common words. As a proof-of-concept, we tested the idea with Amazon Mechanical Turk participants by assigning them GPT-2 generated passphrases based on stories they were familiar with. Contrary to expectations, following a spaced repetition schedule, passphrases as natural English sentences, based on familiar vocabulary performed similarly to system-assigned passphrases based on random common words.

연구 동기 및 목표

• 유저가 익숙한 자연어 어휘를 기반으로 한 시스템 할당 비밀번호가 무작위 공통어 비밀번호보다 더 기억에 오래 남는지 조사하기.
• 사용자가 익숙한 이야기에서 유래한 독해 가능하고 발음 가능한 문장형 비밀번호를 GPT-2로 생성함으로써 사용자 기억력 성능에 미치는 영향을 평가하기.
• 간격 반복 스케줄이 시스템 할당 비밀번호의 장기적 기억력 향상에 얼마나 효과적인지 평가하기.
• 사용자가 선택한 패턴에 의존하지 않고 개인적 또는 관심사 기반 어휘를 활용해 보안성과 기억력이 뛰어난 비밀번호를 생성할 수 있는지 탐색하기.
• 통제된 조건에서 자연어(예: 이야기)에서 유도된 비밀번호와 무작위 공통어 비밀번호의 기억력 성능을 비교하기.

제안 방법

• 세 편의 공공도메인 이야기(프라이드 앤 프리지디스, 셸록 홈즈의 모험, 앨리스의 나라)에서 추출한 정제된 사용자 익숙한 어휘를 기반으로 GPT-2를 미세조정한다.
• 원천 이야기의 문법과 어휘를 반영한 자연스러운 영어 문장(5~7단어) 형태의 시스템 할당 비밀번호를 생성한다.
• 6회 반복 측정을 포함한 간격 반복 스케줄을 적용한 Amazon Mechanical Turk 기반 온라인 사용자 연구를 500명의 참가자 대상으로 수행한다.
• 익숙한 이야기에서 유래한 비밀번호(자연어 스타일)와 무작위 공통어 비밀번호(4단어, 구조 없음) 간의 기억력 성능을 비교한다.
• 기억력 성공 여부를 회상 정확도 및 회상된 비밀번호와 할당된 비밀번호 간의 유사도 점수(Jaccard 지수)로 측정한다.
• 보안성 평가를 위해 엔트로피와 한계 추측 가능성 지표를 사용하였으며, 무작위 비밀번호는 30비트의 엔트로피를 가지며, 이야기 기반 비밀번호는 14.7에서 16.8비트의 엔트로피를 보였다.

실험 결과

연구 질문

• RQ1 익숙한 자연어 어휘를 기반으로 한 시스템 할당 비밀번호가 무작위 공통어 비밀번호보다 사용자 기억력에 더 유리한가?
• RQ2 간격 반복 스케줄이 익숙한 이야기 기반 시스템 할당 비밀번호의 장기적 회상 능력 향상에 얼마나 효과적인가?
• RQ3 GPT-2로 생성된 이야기 기반 어휘에서 유도된 비밀번호가 자연어의 문법적 구조와 어휘에 얼마나 유사한가?
• RQ4 통제된 사용자 연구에서 비밀번호 길이, 어휘 익숙함 수준, 기억력 성능 간의 관계는 어떠한가?
• RQ5 GPT-2로 생성된 이야기 기반 비밀번호가 충분한 보안 엔트로피를 유지하면서도 무작위 비밀번호와 유사한 기억력 성능을 보일 수 있는가?

주요 결과

• 익숙한 이야기 기반 비밀번호(예: 앨리스의 나라, 프라이드 앤 프리지디스)는 최종 회상 라운드에서 89.7%의 성공률을 보였으며, 이는 무작위 4단어 비밀번호 조건의 100% 성공률과 유사하다.
• 앨리스의 나라 기반 비밀번호의 경우, 실패율이 시간이 지남에 따라 감소: 1라운드 33.6%에서 6라운드 10.29%로 감소하여 간격 반복의 효과가 확인되었다.
• 앨리스의 나라에서 유도된 7단어 비밀번호의 경우, 22개의 잘못된 회상 결과가 Jaccard 유사도 점수 0.40 이하였으며, 최저는 0.24였으며, 이는 다양한 유형의 기억 오류가 있음을 시사한다.
• 무작위 4단어 비밀번호는 30비트의 엔트로피를 가지며, 가장 성능이 뛰어난 이야기 기반 비밀번호(프라이드 앤 프리지디스, 5-그램)는 16.8비트의 한계 추측 가능성 엔트로피를 보였다. 이는 낮은 엔트로피를 의미하지만, 사용성 측면에선 유리할 수 있다.
• 낮은 엔트로피에도 불구하고, 이야기 기반 비밀번호는 무작위 비밀번호와 유사한 정확도로 회상되었으며, 엔트로피 감소에도 불구하고 기억력이 크게 떨어지지 않는다는 점을 시사한다.
• 간격 반복 스케줄 하에서 자연어 스타일의 이야기 기반 비밀번호와 무작위 공통어 비밀번호 간의 장기적 기억력 성능에 유의미한 차이가 없음을 발견했다.