[論文レビュー] "We're on the Same Page": A Usability Study of Secure Email Using Pairs of Novice Users

Scott Ruoti, Jeff Andersen+6 more|arXiv (Cornell University)|Oct 29, 2015

Privacy, Security, and Data Protection参考文献 20被引用数 26

ひとこと要約

本研究では、初心者ユーザー25組がPwm、Tutanota、Virtruの3つのセキュアメールシステムを共同で使用する状況を観察し、セキュアメールの使いやすさを評価した。その結果、ペアでの相互作用がユーザーの安心感と信頼を高める一方で、隠されたセキュリティメカニズムは信頼を損なうことが明らかになった。インストール済みのチュートリアルを備えた統合型システムは、デポ型モデルを上回り、ユーザーはセキュアメールに関心を示すが、日常的利用の明確なユースケースが不足していることがわかった。

ABSTRACT

Secure email is increasingly being touted as usable by novice users, with a push for adoption based on recent concerns about government surveillance. To determine whether secure email is for grassroots adoption, we employ a laboratory user study that recruits pairs of novice to install and use several of the latest systems to exchange secure messages. We present quantitative and qualitative results from 25 pairs of novice users as they use Pwm, Tutanota, and Virtru. Participants report being more at ease with this type of study and better able to cope with mistakes since both participants are "on the same page". We find that users prefer integrated solutions over depot-based solutions, and that tutorials are important in helping first-time users. Hiding the details of how a secure email system provides security can lead to a lack of trust in the system. Participants expressed a desire to use secure email, but few wanted to use it regularly and most were unsure of when they might use it.

研究の動機と目的

• 本研究は、熟練者による調整を伴わない実世界のペア・ツー・ペアの状況において、初心者ユーザーがセキュアメールを実際に使えるかどうかを評価することを目的としている。
• 本研究は、単一ユーザーの研究とは対照的に、初心者ユーザー同士がどのようにセキュアメールシステムとやり取りするかを調査することを目的としている。
• 本研究は、システム設計（特に統合、チュートリアル、透明性）がユーザーの信頼と成功に与える影響を評価することを目的としている。
• 本研究は、非技術的ユーザーが日常的にセキュアメールを使用する上で直面する実用的障壁を特定することを目的としている。

提案手法

• 25組の初心者ユーザーを対象に、なじみのある友人と一緒に参加することで自然な相互作用を促す、制御されたラボ研究を実施した。
• 参加者にPwm（Gmail統合型）、Tutanota（デポ型）、Virtru（ハイブリッドプラグイン/デポ型）の3つのセキュアメールシステムを使用してもらった。
• 事前のトレーニングなしで、システムが提供するオンボーディングとインターフェースのヒントのみに依存して、安全なメッセージのやり取りを行った。
• 定量的データ（タスクの達成度、タスクに要した時間）と定性的データ（インタビュー、観察）を収集し、ユーザー行動と認識に関する分析を行った。
• ユーザーの反応を分析して、信頼、混乱、好みのパターンを、システム間で特定した。
• パフォーマンスバイアスを軽減するため、送信者と受信者の役割をペアで割り当て、初回使用体験の違いを捉えた。

実験結果

リサーチクエスチョン

• RQ1 単一ユーザーの研究とは対照的に、ペアでの初心者ユーザーがセキュアメールを交換する際のパフォーマンスは、熟練者による調整を伴う研究と比べてどうなるか？
• RQ2 統合形態（プラグイン対デポ）が、ユーザーの信頼と認識されるセキュリティに与える影響は何か？
• RQ3 インアプリ内チュートリアルは、セキュアメールシステムの使用におけるユーザーの成功と自信にどのように影響するか？
• RQ4 なぜユーザーはセキュアメールに関心を示すが、日常的利用の意図はほとんど持たないのか？
• RQ5 認証フローなどのセキュリティ詳細を隠すことで、ユーザーの信頼がどの程度損なわれるのか？

主な発見

• 熟練者ではなく友人と一緒に作業することで、ユーザーはより安心感を覚え、「同じペースで進んでいる」と感じ、不安が軽減され、自然な行動が促された。
• Pwmの自動認証のようなセキュリティ詳細の隠蔽は、ユーザーが暗号化が実際に適用されたかどうか疑問視する原因となり、信頼を損なった。
• 統合型システム（Pwm、Virtru）は、デポ型システム（Tutanota）よりも好まれた。ユーザーはTutanotaを混乱しやすく、信頼性が低いと感じた。
• チュートリアルはユーザーの達成度を著しく向上させた。Pwmのインアプリ内チュートリアルは24％の参加者から称賛を受けたが、Tutanotaにはチュートリアルがなく、パスワードの設定や共有方法について広範な混乱が生じた。
• 72％のユーザーがメール暗号化に関心を示したが、実際に頻繁に使用すると答えたのは20％にとどまり、多くのユーザーは実用的なユースケースが明確でないと感じた。
• VirtruとTutanotaでは、プラグイン非対応ユーザーと安全にパスワードを共有する方法が理解できず、エンドツーエンド暗号化ワークフローにおける深刻な使いやすさのギャップが浮き彫りになった。