[논문 리뷰] Phishing in Organizations: Findings from a Large-Scale and Long-Term Study

Daniele Lain, Kari Kostiainen외 1명|arXiv (Cornell University)|2021. 12. 14.

Spam and Phishing Detection인용 수 6

한 줄 요약

스위스 기업에서 실시한 이 15개월에 걸친 대규모 연구는 실제 업무 환경에서 14,773명의 직원을 대상으로 현실적인 시뮬레이션 피싱 이메일을 사용해 피싱 공격에 대한 취약성을 테스트했다. 연구 결과, 내장형 교육은 효과가 없을 뿐 아니라 취약성을 증가시킬 수 있으며, 직원이 보고하는 피싱 탐지 방식은 매우 효과적이고 신속하며 지속 가능하다는 것이 확인되었으며, 이는 조직에 대해 새로운 저비용 방어 전략을 제공한다.

ABSTRACT

In this paper, we present findings from a large-scale and long-term phishing experiment that we conducted in collaboration with a partner company. Our experiment ran for 15 months during which time more than 14,000 study participants (employees of the company) received different simulated phishing emails in their normal working context. We also deployed a reporting button to the company's email client which allowed the participants to report suspicious emails they received. We measured click rates for phishing emails, dangerous actions such as submitting credentials, and reported suspicious emails. The results of our experiment provide three types of contributions. First, some of our findings support previous literature with improved ecological validity. One example of such results is good effectiveness of warnings on emails. Second, some of our results contradict prior literature and common industry practices. Surprisingly, we find that embedded training during simulated phishing exercises, as commonly deployed in the industry today, does not make employees more resilient to phishing, but instead it can have unexpected side effects that can make employees even more susceptible to phishing. And third, we report new findings. In particular, we are the first to demonstrate that using the employees as a collective phishing detection mechanism is practical in large organizations. Our results show that such crowd-sourcing allows fast detection of new phishing campaigns, the operational load for the organization is acceptable, and the employees remain active over long periods of time.

연구 동기 및 목표

• 대규모 조직에서 피싱 공격에 가장 취약한 직원의 인구통계학적 특성과 직무 유형을 이해하기 위해
• 반복적인 노출에 따라 조직의 피싱 취약도가 시간이 지남에 따라 어떻게 변화하는지 분석하기 위해
• 내장형 교육 및 이메일 경고와 같은 일반적인 피싱 방지 도구의 효과성을 평가하기 위해
• 직원들이 공동으로 효과적이고 지속 가능한 피싱 탐지 수단으로 기능할 수 있는지 조사하기 위해
• 인간 요소에 관한 생태학적으로 타당한 대규모 증거를 제공하여 일반적으로 사용되는 산업 관행에 도전하기 위해

제안 방법

• 실제 업무 환경에서 14,773명의 직원이 시뮬레이션된 피싱 이메일을 받는 15개월에 걸친 대규모 피싱 실험을 수행했다.
• 기업 이메일 클라이언트에 보고 버튼을 도입하여 실시간으로 사용자가 위험한 이메일을 탐지할 수 있도록 했다.
• 클릭률, 인증 정보 제출, 매크로 실행, 보고 빈도와 같은 핵심 행동을 측정했다.
• 자동화 분석과 수동 점검을 조합한 하이브리드 처리 파이프라인을 사용해 보고된 이메일을 평가했다.
• 시간이 지남에 따라 인구통계학적 정보, 직무 유형, 클릭 패턴, 보고 행동에 대한 데이터를 수집하고 분석했다.
• 조건 간 클릭률과 보고 빈도를 비교함으로써 경고 및 내장형 교육의 영향을 평가했다.

실험 결과

연구 질문

• RQ1 어떤 종류의 직원가 가장 피싱에 취약한가? 연령, 성별, 직무 유형 등의 인구통계학적 특성과 취약도 간의 상관관계는 어떠한가?
• RQ2 반복적인 시뮬레이션 공격 노출에 따라 조직의 전체적인 피싱 취약도는 시간이 지남에 따라 어떻게 변화하는가?
• RQ3 내장형 피싱 교육과 이메일 경고는 실제 조직 환경에서 피싱 공격에 대한 취약도를 효과적으로 줄일 수 있는가?
• RQ4 대규모 조직에서 직원들이 공동으로 효과적이고 빠르며 지속 가능한 피싱 탐지 수단으로 기능할 수 있는가?

주요 결과

• 산업계에서 널리 사용되는 내장형 피싱 교육은 복원력을 향상시키지 못하며, 오히려 피싱 공격에 대한 취약성을 증가시킬 수 있다.
• 이메일 경고는 피싱 클릭을 줄이는 데 효과적이었으며, 더 높은 생태학적 타당성을 지닌 이전 연구 결과를 뒷받침한다.
• 매우 많은 수의 직원들—'반복 클릭자'로 지칭됨—이 시간이 지나도 계속해서 피싱에 속는 것으로 나타나 지속적인 취약성을 보여주었다.
• 직원들이 보고하는 방식의 공동 피싱 탐지 덕분에 신규 피싱 캠페인이 출시된 지 몇 분 내로 탐지가 가능했다.
• 자동화 및 수동 점검을 통해 보고된 이메일 처리의 운영 부담은 수천 건의 보고가 있어도 여전히 낮았다.
• 직원들의 보고 빈도는 15개월 동안 높고 지속적으로 유지되어 장기적인 참여도와 실행 가능성의 가능성을 보여주었다.