[论文解读] Why Johnny Still, Still Can't Encrypt: Evaluating the Usability of a Modern PGP Client

Scott Ruoti, Jeff Andersen+2 more|arXiv (Cornell University)|Oct 29, 2015

Usability and User Interface Design参考文献 8被引用 32

一句话总结

本研究评估了集成于网页邮箱中的现代PGP电子邮件客户端Mailvelope，发现尽管技术有所进步，但在一小时内仅20名参与者中的1对成功发送加密邮件。论文识别出关键可用性障碍——缺乏教程、对公钥密码学解释不清、缺少自动邀请收件人功能，以及PGP区块指令不明确——并提出整合教程、简化密码学解释、自动发送邮件邀请，以及在PGP区块中加入纯文本指令，以提升非专业用户使用体验。

ABSTRACT

This paper presents the results of a laboratory study involving Mailvelope, a modern PGP client that integrates tightly with existing webmail providers. In our study, we brought in pairs of participants and had them attempt to use Mailvelope to communicate with each other. Our results shown that more than a decade and a half after extit{Why Johnny Can't Encrypt}, modern PGP tools are still unusable for the masses. We finish with a discussion of pain points encountered using Mailvelope, and discuss what might be done to address them in future PGP systems.

研究动机与目标

• 评估Mailvelope这一现代PGP浏览器扩展在真实环境下的可用性，该扩展集成于网页邮箱中。
• 识别阻碍非专业用户成功使用PGP进行邮件加密与解密的持续性可用性障碍。
• 评估自原始《为什么约翰尼无法加密》研究发布15年以来，现代PGP工具是否已有显著改进。
• 提出可操作的设计改进建议，使端到端加密邮件对非技术用户更加易用。

提出的方法

• 在两周内开展了一项经IRB批准的实验室研究，共10对参与者（20人）参与，使用Gmail和Mailvelope交换加密消息。
• 每位参与者有一小时时间完成安全邮件任务，包括密钥生成、密钥共享，以及发送和接收加密消息。
• 通过涉及敏感信息交换的受控场景，模拟真实世界中使用安全邮件的情境。
• 通过观察、研究后问卷和结构化访谈收集数据，分析用户困惑点与失败原因。
• 基于参与者反馈和观察行为，评估所提改进措施（教程、简化密码学解释、自动邀请收件人、PGP区块指令）的有效性。
• 与先前研究（如Whitten & Tygar、Sheng et al.）进行对比，以定位当前可用性挑战的背景。

实验结果

研究问题

• RQ1 在受控实验室环境中，非技术用户在多大程度上能成功使用Mailvelope发送和接收加密邮件？
• RQ2 即使使用现代且集成良好的客户端，哪些具体可用性障碍会阻止用户完成PGP加密任务？
• RQ3 当用户缺乏公钥密码学知识时，他们如何理解并响应PGP区块、公钥共享和密钥管理？
• RQ4 自动邮件邀请与客户端内教程是否能显著提升首次使用PGP用户的成功率？
• RQ5 附带在PGP区块中的纯文本指令在引导非PGP用户解密邮件方面是否有效？

主要发现

• 在十对参与者中仅有一对（10%）在规定一小时内成功完成加密邮件交换任务。
• 所有参与者在理解公钥密码学方面均遇到困难，80%的配对未能正确管理或使用公钥与私钥。
• 用户经常将PGP区块误认为是损坏的图片或无关数据，表明解密步骤的可发现性极差。
• 由于缺少对尚未设置PGP的收件人进行自动联络，用户感到困惑并中止任务，因不知如何启动密钥共享流程。
• 用户强烈偏好通过视频讲解公钥密码学，表明静态文本对新手用户而言不足以理解。
• 集成教程与自动邮件邀请被一致认为是最具潜力的改进措施，可显著提升可用性与成功率。