[論文レビュー] The Effect of Visual Noise on The Completion of Security Critical Tasks

Tyler Kaczmarek, Alfed Kobsa+2 more|arXiv (Cornell University)|May 21, 2014

User Authentication and Security Systems参考文献 22被引用数 3

ひとこと要約

本研究では、147名の参加者を対象に、自動的で監視なしの実験環境を用いて、予期しない視覚的および聴覚的ノイズがセキュリティに重要なタスクのパフォーマンスに与える影響を調査した。驚くべきことに、視覚的および聴覚的干扰は、Bluetooth接続設定タスクの誤り率を低下させた。これは、干渉がセキュリティタスクのパフォーマンスを一様に損なうという仮説に反する結果であった。

ABSTRACT

User errors while performing security-critical tasks can lead to undesirable or even disastrous consequences. One major factor influencing mistakes and failures is complexity of such tasks, which has been studied extensively in prior research. Another important issue which hardly received any attention is the impact of both accidental and intended distractions on users performing security-critical tasks. In particular, it is unclear whether, and to what extent, unexpected sensory cues (e.g., auditory or visual) can influence user behavior and/or trigger mistakes. Better understanding of the effects of intended distractions will help clarify their role in adversarial models. As part of the research effort described in this paper, we administered a range of naturally occurring -- yet unexpected -- sounds while study participants attempted to perform a security-critical task. We found that, although these auditory cues lowered participants' failure rates, they had no discernible effect on their task completion times. To this end, we overview some relevant literature that explains these somewhat counter-intuitive findings. Conducting a thorough and meaningful study on user errors requires a large number of participants, since errors are typically infrequent and should not be instigated more than once per subject. To reduce the effort of running numerous subjects, we developed a novel experimental setup that was fully automated and unattended. We discuss our experience with this setup and highlight the pros and cons of generalizing its usage.

研究の動機と目的

• 予期しない感覚的干渉、特に視覚的および聴覚的ノイズがセキュリティに重要なタスクにおけるユーザーのパフォーマンスに与える影響を調査すること。
• 通常、失敗率が低いことから大規模な被験者プールを必要とする、ユーザビリティ研究におけるレアなユーザーの誤りを研究する課題に対処すること。
• 監理的および経済的負担を軽減するため、ビデオ投影による実験者を用いた自動的で監視なしの実験環境の開発および評価すること。
• 従来の仮説とは反して、敵対的感覚刺激を活用することでタスクの正確性が向上する可能性を検討すること。
• 大規模なユーザビリティ研究におけるセキュリティに重要な文脈のためのスケーラブルで倫理的に適切な実験モデルを確立すること。

提案手法

• 生存サイズのビデオ投影による実験者によって参加者に指示を配信する完全に自動的で監視なしの実験環境を導入した。
• 公共の場に似せた環境でBluetoothデバイスのペアリングタスクを実施し、参加者はスマートボードに表示された6桁のPINとスマートフォンのPINを照合した。
• タスク実行中に突然の音などの予期しない聴覚的刺激を導入し、現実世界の干渉を模倣した。
• ビデオ録画と自動ログ記録を用いて、実験者を介さずにパフォーマンスデータを収集した。
• 機関レビュー委員会（IRB）承認のプロトコルを実装し、データの匿名化および動画の消去を含め、倫理的遵守を確保した。
• 最小限の個人識別情報を保持したまま、複数のセッションを通じて147名の参加者からデータを収集した。

実験結果

リサーチクエスチョン

• RQ1 予期しない聴覚的および視覚的干渉は、セキュリティに重要なタスクを実行するユーザーの成功確率にどのように影響するか？
• RQ2 意図しないまたは敵対的な感覚刺激は、セキュリティタスクのパフォーマンスを損なうのではなく、向上させる可能性があるか？
• RQ3 監視なしの自動的実験環境は、ユーザビリティ研究における稀なユーザーの誤りを信頼性高く測定できるか？
• RQ4 公共の場での大規模な監視なし実験を実施するにあたり、倫理的および物流的課題は何か？
• RQ5 共有実験空間における共同作業や複数名の参加行動は、データの妥当性および信頼性にどのような影響を与えるか？

主な発見

• 予期しない聴覚的刺激は、当初の仮説とは反対に、Bluetoothペアリングタスクの失敗率を顕著に低下させた。
• 聴覚的ノイズにさらされた参加者は、静かな状態の参加者よりもタスクの成功確率が高かった。これは、ノイズがパフォーマンスに促進的効果をもたらす可能性を示している。
• 聴覚的ノイズの有無は、タスク完了時間に顕著な影響を及ぼさなかった。これは、ノイズが参加者の速度を遅くしていなかったことを示している。
• 自動的で監視なしの実験環境は、最小限の人的介入で147名の参加者からデータを収集でき、そのスケーラビリティが裏付けられた。
• 複数名の参加者が同時に実験に参加することは一般的な問題であり、一部の参加者が協力し合うなど、データ収集中に潜在的な交絡要因を生じさせた。
• 本研究では、動画録画が整合性の確認に不可欠であったが、同時にプライバシーおよび倫理的懸念を伴い、慎重な管理が求められた。