[논문 리뷰] The Effect of Visual Noise on The Completion of Security Critical Tasks

Tyler Kaczmarek, Alfed Kobsa외 2명|arXiv (Cornell University)|2014. 05. 21.

User Authentication and Security Systems참고 문헌 22인용 수 3

한 줄 요약

이 연구는 147명의 참가자를 대상으로 한 자동화되고 비감시적인 실험 설정을 통해, 예상치 못한 시각적 및 听覚적 소음이 보안 핵심 과제 수행에 미치는 영향을 조사한다. 놀랍게도, 시각적 및 听각적 방해 요소가 블루투스 연결 과제에서 오류율을 낮추는 것으로 나타나, 방해 요소가 보안 과제 성능을 항상 떨어뜨린다는 가정을 뒤집는 결과를 도출한다.

ABSTRACT

User errors while performing security-critical tasks can lead to undesirable or even disastrous consequences. One major factor influencing mistakes and failures is complexity of such tasks, which has been studied extensively in prior research. Another important issue which hardly received any attention is the impact of both accidental and intended distractions on users performing security-critical tasks. In particular, it is unclear whether, and to what extent, unexpected sensory cues (e.g., auditory or visual) can influence user behavior and/or trigger mistakes. Better understanding of the effects of intended distractions will help clarify their role in adversarial models. As part of the research effort described in this paper, we administered a range of naturally occurring -- yet unexpected -- sounds while study participants attempted to perform a security-critical task. We found that, although these auditory cues lowered participants' failure rates, they had no discernible effect on their task completion times. To this end, we overview some relevant literature that explains these somewhat counter-intuitive findings. Conducting a thorough and meaningful study on user errors requires a large number of participants, since errors are typically infrequent and should not be instigated more than once per subject. To reduce the effort of running numerous subjects, we developed a novel experimental setup that was fully automated and unattended. We discuss our experience with this setup and highlight the pros and cons of generalizing its usage.

연구 동기 및 목표

• 예상치 못한 감각적 방해 요소—특히 시각적 및 听각적 소음—이 보안 핵심 과제 수행에 미치는 영향을 조사하는 것.
• 보통 낮은 실패율로 인해 낮은 실패 빈도를 보이는 사용자 오류를 연구하는 데서 비롯되는 과제를 해결하기 위해, 낮은 실패율로 인해 대규모 참가자 풀이 필요하다는 점을 고려하는 것.
• 비감시적이고 자동화된 실험 설정을 개발하고 평가하여, 로지스틱 및 재정적 부담을 줄이는 것.
• 기존의 가정과는 반대로, 적대적인 감각 자극을 활용하여 과제 정확도를 향상시킬 수 있는지 탐색하는 것.
• 보안 핵심 맥락에서 대규모 사용성 연구를 위한 확장 가능하고 윤리적으로 타당한 실험 모델을 수립하는 것.

제안 방법

• 참가자에게 지시를 내리는 실제 크기의 비디오 프로젝터로 구현된 실험자를 사용한 완전 자동화되고 비감시적인 실험 설정을 구현하였다.
• 공공 환경과 유사한 분위기에서 블루투스 기기 연결 과제를 수행하였으며, 참가자들은 스마트보드에 표시된 6자리 숫자 PIN과 스마트폰에 표시된 PIN을 비교하였다.
• 과제 수행 중 예상치 못한 听각 자극(예: 갑작스러운 소리)을 도입하여 실제 세계의 방해 요소를 시뮬레이션하였다.
• 비디오 기록 및 자동 로깅을 통해 실시간 실험자 참여 없이 성능 데이터를 수집하였다.
• 기관 심의위원회(IRB) 승인을 받은 절차를 구현하여 윤리적 준수를 확보하였으며, 데이터 익명화 및 영상 삭제 조치를 포함하였다.
• 최소한의 신원 정보를 유지하면서 여러 세션에 걸쳐 총 147명의 참가자로부터 데이터를 수집하였다.

실험 결과

연구 질문

• RQ1 예상치 못한 听각적 및 시각적 방해 요소는 보안 핵심 과제 수행 성공률에 어떤 영향을 미치는가?
• RQ2 의도하지 않은 또는 적대적인 감각 자극이 보안 과제에서 성능을 떨어뜨리기보다는 향상시킬 수 있는가?
• RQ3 비감시적이고 자동화된 실험 설정은 사용성 연구에서 희귀 사용자 오류를 얼마나 신뢰성 있게 측정할 수 있는가?
• RQ4 공공 환경에서 대규모 비감시 실험을 시행할 때 윤리적 및 로지스틱적 과제는 무엇인가?
• RQ5 공동 실험 공간에서 다수의 참가자가 동시에 실험에 참여할 경우, 데이터의 타당성과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 예상치 못한 听각 자극은 블루투스 연결 과제의 실패율을 유의미하게 감소시켰으며, 초기 가설과는 반대로 방해 요소가 성능을 떨어뜨린다는 가정을 뒤집는 결과를 보였다.
• 청각적 소음에 노출된 참가자들은 조용한 조건에 비해 과제를 더 높은 성공률로 완료하여, 소음이 성능 향상에 기여할 수 있음을 시사하였다.
• 청각적 소음의 유무와 관계없이 과제 완료 시간은 유의미하게 영향을 받지 않았으며, 이는 소음이 참가자의 속도를 늦추지 않았음을 의미한다.
• 자동화되고 비감시적인 실험 설정은 최소한의 인간 간섭으로 147명의 참가자로부터 데이터를 성공적으로 수집하여, 그 확장 가능성은 검증되었다.
• 여러 참가자가 동시에 실험에 참여하는 경우가 흔했으며, 일부는 협업을 시도하여 데이터 수집에 잠재적 혼란을 초래하였다.
• 영상 기록이 무결성 점검에 필수적이었지만, 동시에 개인정보 및 윤리적 고려사항이 수반되어 신중한 관리가 필요함을 입증하였다.