[논문 리뷰] User-Centred Security Education: A Game Design to Thwart Phishing Attacks

Nalin Asanka Gamagedara Arachchilage|arXiv (Cornell University)|2015. 11. 11.

Spam and Phishing Detection참고 문헌 12인용 수 8

한 줄 요약

이 연구는 사용자가 피싱 URL을 식별하는 법을 배우는 데 목적이 있는 모바일 게임을 설계하고 평가한다. 게임은 플레이어가 진짜 웹 주소와 위조된 주소를 구분하는 어드레날린 드림 어드벤처를 시뮬레이션한다. 게임 플레이는 사용자의 피싱 회피 행동을 크게 향상시켰으며, 사전 테스트에서 56%였던 점수는 사후 테스트에서 84%로 상승했고, 이는 위협 인식 향상과 자기 효능감 향상에 기인한다.

ABSTRACT

Phishing is an online identity theft that aims to steal sensitive information such as username, password and online banking details from its victims. Phishing education needs to be considered as a means to combat this threat. This paper reports on a design and development of a mobile game prototype as an educational tool helping computer users to protect themselves against phishing attacks. The elements of a game design framework for avoiding phishing attacks were used to address the game design issues. Game design principles served as guidelines for structuring and presenting information. Our mobile game design aimed to enhance the users' avoidance behaviour through motivation to protect themselves against phishing threats. A think-aloud study was conducted, along with a pre- and post-test, to assess the game design framework though the developed mobile game prototype. The study results showed a significant improvement of participants' phishing avoidance behaviour in their post-test assessment. Furthermore, the study findings suggest that participants' threat perception, safeguard effectiveness, self-efficacy, perceived severity and perceived susceptibility elements positively impact threat avoidance behaviour, whereas safeguard cost had a negative impact on it.

연구 동기 및 목표

• 자동화된 탐지 도구가 존재함에도 불구하고 여전히 심각한 보안 위협인 사용자 최종 사용자에 대한 피싱 공격의 지속적인 취약성을 해결하기 위해.
• URL 분석에 초점을 맞춰 사용자가 피싱 웹사이트를 식별하는 능력을 향상시키기 위한 사용자 중심의 모바일 게임을 개발하기 위해.
• 위협 인식, 자기 효능감, 보호 조치 비용이라는 요소들을 기반으로 한 게임 설계 프레임워크가 피싱 회피 행동을 향상시키는 데 효과적인지 평가하기 위해.
• 모바일 게임 내 스토리텔링과 상호작용 피드백이 사용자의 위협 인식과 피싱을 피하기 위한 동기부여를 어떻게 강화할 수 있는지 조사하기 위해.

제안 방법

• 안드로이드용 모바일 게임 프로토타입을 개발하였으며, 작은 물고기가 진짜 벌레(합법적 URL)를 식별하고 가짜 벌레(피싱 URL)를 피하는 스토리가 포함되어 있다.
• 게임은 URL 특성(예: 숫자가 앞에 오는 경우, 기업 이름에 하이픈이 포함된 경우 등)에 대한 팁을 제공하는 교사 캐릭터를 포함하고 있다.
• 정확한 식별에 대해 점수를 얻고 실수 시 생명 또는 시간을 잃는다. 교사 캐릭터를 사용하면 남은 시간이 100초 감소하여 보호 조치 비용을 모델링한다.
• 20명의 참가자 대상으로 사전·사후 테스트를 통합한 '생각을 말하는' 연구를 실시하여 피싱 탐지 능력의 변화를 측정하였다.
• 사용자 만족도 평가를 위해 시스템 사용성 척도(SUS)를 사용하였으며, 100점 중 83.62점의 높은 점수를 기록하였다.
• 쌍체 t-검정을 적용하여 사전 및 사후 테스트 성과를 비교하고 행동 향상의 통계적 유의성을 평가하였다.

실험 결과

연구 질문

• RQ1 어떻게 게임 설계 프레임워크를 효과적으로 활용하여 모바일 게임을 통해 사용자가 피싱 탐지 능력을 향상시킬 수 있는가?
• RQ2 게임 프로토타입은 사용자의 합법적 URL과 피싱 URL을 구분하는 능력을 어느 정도 향상시키는가?
• RQ3 위협 인식, 자기 효능감, 보호 조치 비용 등의 심리적 요인이 게임 환경에서 사용자의 피싱 회피 행동에 어떤 영향을 미치는가?
• RQ4 스토리텔링과 상호작용 피드백의 통합은 피싱 교육에서 학습 결과에 어떤 영향을 미치는가?

주요 결과

• 사후 테스트 점수는 사전 테스트 평균 56.00%(표준편차=17.911)에서 사후 테스트 평균 84.00%(표준편차=13.139)로 유의미하게 상승하였으며, 통계적으로 유의미한 t값 -7.97(p<0.005)를 기록하였다.
• 20명의 참가자 중 18명이 사후 테스트에서 80% 이상의 점수를 얻었고, 5명은 완벽한 100% 점수를 기록하여 뚜렷한 학습 성과를 보였다.
• 사용자의 위협 인식, 보호 조치의 효과성, 자기 효능감, 위협의 심각도, 위험 노출 가능성에 대한 인식이 모두 피싱 회피 행동에 긍정적인 영향을 미쳤다.
• 보호 조치 비용은 부정적인 영향을 미쳤으며, 시간 패널티가 적용될 경우 사용자들이 도움 기능의 사용을 줄였다.
• 시스템 사용성 척도(SUS) 점수 83.62는 게임 인터페이스 및 전반적인 사용자 경험에 대한 높은 사용자 만족도를 나타낸다.
• 게임 프로토타입은 게임 메커니즘에 심리적 동기 요소를 통합함으로써 피싱으로부터 자신을 보호하기 위한 동기를 효과적으로 향상시켰다.