[논문 리뷰] All About Phishing: Exploring User Research through a Systematic Literature Review

Sanchari Das, Andrew Kim외 2명|arXiv (Cornell University)|2019. 08. 16.

Spam and Phishing Detection참고 문헌 39인용 수 25

한 줄 요약

이 체계적 문헌 고찰은 ACM 디지털 라이브러리에서의 피싱에 관한 367편의 동료 심사 논문을 분석하여, 설문조사 및 인터뷰와 같은 경험적 방법을 통해 사용자 행동에 집중한 연구는 단 13.9% (51편)에 그친다는 것을 밝혀냈다. 본 연구는 방법론 보고의 격차와 참가자 모집 방식의 문제점을 부각하며, 실제 보안 대응 조치의 효과를 높이기 위해 사용자 중심의 피싱 연구에 더 높은 철학적 엄밀함이 필요하다고 촉구한다.

ABSTRACT

Phishing is a well-known cybersecurity attack that has rapidly increased in recent years. It poses legitimate risks to businesses, government agencies, and all users due to sensitive data breaches, subsequent financial and productivity losses, and social and personal inconvenience. Often, these attacks use social engineering techniques to deceive end-users, indicating the importance of user-focused studies to help prevent future attacks. We provide a detailed overview of phishing research that has focused on users by conducting a systematic literature review of peer-reviewed academic papers published in ACM Digital Library. Although published work on phishing appears in this data set as early as 2004, we found that of the total number of papers on phishing (N = 367) only 13.9% (n = 51) focus on users by employing user study methodologies such as interviews, surveys, and in-lab studies. Even within this small subset of papers, we note a striking lack of attention to reporting important information about methods and participants (e.g., the number and nature of participants), along with crucial recruitment biases in some of the research.

연구 동기 및 목표

• 체계적 문헌 고찰을 통해 사용자 중심의 피싱 연구 현황을 평가하기 위해.
• 설문조사, 인터뷰, 실험실 내 실험과 같은 사용자 연구 방법론을 사용한 피싱 연구의 비율을 특정하기 위해.
• 특히 참가자 정보와 모집 방식에 관해 방법론 보고의 질을 평가하기 위해.
• 기존의 피싱 사용자 연구에서 나타나는 체계적 편향과 보고의 격차를 부각하기 위해.

제안 방법

• ACM 디지털 라이브러리에 게재된 동료 심사 논문을 대상으로 체계적 문헌 고찰을 수행하였다.
• cybersecurity, human-computer interaction, computer science와 관련된 키워드와 주제 분류를 사용하여 피싱에 관한 논문을 검색하였다.
• 최종적으로 367편의 논문을 선별하였으며, 종합적으로 종료자 행동을 포함하는 연구에 초점을 맞추어 포함 기준에 따라 선별하였다.
• 설문조사, 인터뷰, 실험실 내 실험과 같은 사용자 연구 방법론을 사용한지 여부에 따라 연구를 분류하였다.
• 참가자 수, 인구통계학적 특성, 모집 전략과 같은 방법론 보고의 질을 분석하였다.
• 참가자 정보 부족 보고 및 잠재적 모집 편향과 같은 반복적인 문제점을 식별하고 기록하였다.

실험 결과

연구 질문

• RQ1 피싱 연구 중 종료자 행동을 경험적 사용자 연구 방법론(예: 설문조사, 인터뷰, 실험실 내 실험)을 통해 다루는 비율은 얼마인가?
• RQ2 특히 참가자 특성과 모집 방식에 관해 사용자 연구 방법론의 보고가 얼마나 철저한가?
• RQ3 사용자 중심의 피싱 연구에서 공통적으로 나타나는 방법론적 결함는 무엇인가?
• RQ4 사용자 연구의 모집 방식이 피싱 연구 결과에 얼마나 심각한 편향을 초래하는가?

주요 결과

• 검토된 367편의 피싱 논문 중 단 13.9%인 51편만 설문조사, 인터뷰, 실험실 내 실험과 같은 사용자 연구 방법론을 사용하였다.
• 사용자 중심 연구의 다수는 참가자 수와 참가자 성격과 같은 핵심 방법론적 세부 정보를 보고하지 못했다.
• 많은 연구에서 편의 표본(예: 대학 학생)에 의존하는 모집 편향이 나타나 연구 결과의 일반화 가능성을 제한하였다.
• 피싱에서 사회공학 기법이 널리 사용되고 있음에도 불구하고, 사용자 연구는 문헌에서 여전히 부족하고 방법론적으로 일관되지 않았다.
• 참가자 선정 및 기술 방식에 대한 투명성이 부족하여 보고 기준의 심각한 격차가 드러났다.
• 연구 결과는 향후 사용자 중심의 피싱 연구에서 더 높은 방법론적 엄밀함과 보고 기준이 절실하게 필요하다는 점을 강조한다.