[論文レビュー] Why Johnny Still, Still Can't Encrypt: Evaluating the Usability of a Modern PGP Client

Scott Ruoti, Jeff Andersen+2 more|arXiv (Cornell University)|Oct 29, 2015

Usability and User Interface Design参考文献 8被引用数 32

ひとこと要約

本研究は、ウェブメールに統合された現代的なPGPメールクライアントであるMailvelopeの usability を評価し、進歩が見られるものの、1時間以内に暗号化されたメールを送信できた参加者ペアは20組中たった1組にとどまった。論文は、チュートリアルの欠如、公開鍵暗号方式の説明不足、受信者への自動招待機能の不在、PGPブロック内での指示の不明瞭さといった、主な使いやすさの障壁を特定し、非専門家ユーザー向けに統合型チュートリアル、簡略化された暗号説明、自動メール招待、PGPブロック内での平文指示を提案することで、使いやすさを向上させることを提言している。

ABSTRACT

This paper presents the results of a laboratory study involving Mailvelope, a modern PGP client that integrates tightly with existing webmail providers. In our study, we brought in pairs of participants and had them attempt to use Mailvelope to communicate with each other. Our results shown that more than a decade and a half after extit{Why Johnny Can't Encrypt}, modern PGP tools are still unusable for the masses. We finish with a discussion of pain points encountered using Mailvelope, and discuss what might be done to address them in future PGP systems.

研究の動機と目的

• Mailvelope、ウェブメールに統合された現代的なPGPブラウザ拡張機能の、現実世界の状況下での使いやすさを評価すること。
• 非専門家ユーザーがPGPを用いてメールの暗号化・復号化を成功させるのを妨げる、継続的な使いやすさの障壁を同定すること。
• 15年前の元の「Why Johnny Can't Encrypt」研究以降、現代的なPGPツールが改善したかどうかを評価すること。
• 技術的知識のないユーザーがエンドツーエンド暗号化メールを利用できるようにするための、実行可能な設計改善を提言すること。

提案手法

• IRB承認を得たラボ研究を2週間かけて実施。10組（20名）の参加者ペアがGmailとMailvelopeを用いて暗号化されたメッセージをやり取りした。
• 参加者には1時間のセッションが与えられ、鍵の生成、鍵の共有、暗号化されたメッセージの送受信といった安全なメールタスクを完了するよう求められた。
• 現実世界の安全なメール利用を模倣するため、機密情報のやり取りを含む制御されたシナリオを設定した。
• 観察、研究終了後のアンケート、構造化されたインタビューによるデータ収集を通じて、ユーザーの混乱や失敗要因を分析した。
• 参加者からのフィードバックと観察された行動に基づき、提案された改善策（チュートリアル、簡略化された暗号説明、自動受信者招待、PGPブロック内での指示）の有効性を評価した。
• Whitten & Tygar や Sheng らの先行研究と比較することで、現在の使いやすさの課題を文脈づけて分析した。

実験結果

リサーチクエスチョン

• RQ1 非技術的ユーザーが、制御されたラボ環境下でMailvelopeを用いて暗号化メールを送受信できる程度はどの程度か？
• RQ2 現代的で統合されたクライアントを備えたにもかかわらず、ユーザーがPGP暗号化タスクを完了できない具体的な使いやすさの障壁は何か？
• RQ3 公開鍵暗号方式について事前の知識がなく、PGPブロック、公開鍵の共有、鍵管理に対してユーザーはどのように認識し、反応するか？
• RQ4 自動メール招待とクライアント内チュートリアルは、初回PGPユーザーの成功確率を顕著に向上させることができるか？
• RQ5 PGPブロックに付随する平文の指示は、PGPに不慣れなユーザーがメッセージを復号するのをどの程度効果的に導くことができるか？

主な発見

• 10組の参加者ペア中1組（10％）しか、1時間以内に暗号化メールのやり取りタスクを完了できなかった。
• 全参加者が公開鍵暗号方式の理解に苦労し、80％のペアが公開鍵および秘密鍵の正しく管理・使用することができなかった。
• 参加者たちは頻繁にPGPブロックを破損した画像や無関係なデータと誤解し、復号手順の発見性が著しく低いことが示された。
• PGPをセットアップしていない受信者への自動連絡手段がなかったため、ユーザーは鍵共有を開始する方法をわからず、混乱しタスク放棄に至った。
• 参加者たちは、動画による公開鍵暗号方式の説明を強く好んだ。これは、静的テキストだけでは初心者ユーザーには不十分であることを示唆している。
• 統合型チュートリアルと自動メール招待は、使いやすさと成功確率の向上に最も有望な改善策として、一貫して挙げられた。