[論文レビュー] Phishing in Organizations: Findings from a Large-Scale and Long-Term Study

Daniele Lain, Kari Kostiainen+1 more|arXiv (Cornell University)|Dec 14, 2021

Spam and Phishing Detection被引用数 6

ひとこと要約

スイスの企業で実施された大規模な15か月間の研究では、14,773名の従業員を対象に、実際の職場環境でのリアルな模擬フィッシングメールを用いてフィッシング攻撃への感受性をテストした。その結果、埋め込み型トレーニングは効果がなく、むしろ脆弱性を増大させる可能性があることが判明した。一方、従業員がフィッシング攻撃を報告する仕組みは、非常に効果的で、迅速かつ持続可能であり、組織にとって画期的で低コストの防御戦略を提供する。

ABSTRACT

In this paper, we present findings from a large-scale and long-term phishing experiment that we conducted in collaboration with a partner company. Our experiment ran for 15 months during which time more than 14,000 study participants (employees of the company) received different simulated phishing emails in their normal working context. We also deployed a reporting button to the company's email client which allowed the participants to report suspicious emails they received. We measured click rates for phishing emails, dangerous actions such as submitting credentials, and reported suspicious emails. The results of our experiment provide three types of contributions. First, some of our findings support previous literature with improved ecological validity. One example of such results is good effectiveness of warnings on emails. Second, some of our results contradict prior literature and common industry practices. Surprisingly, we find that embedded training during simulated phishing exercises, as commonly deployed in the industry today, does not make employees more resilient to phishing, but instead it can have unexpected side effects that can make employees even more susceptible to phishing. And third, we report new findings. In particular, we are the first to demonstrate that using the employees as a collective phishing detection mechanism is practical in large organizations. Our results show that such crowd-sourcing allows fast detection of new phishing campaigns, the operational load for the organization is acceptable, and the employees remain active over long periods of time.

研究の動機と目的

• 大規模組織におけるフィッシング攻撃への感受性が、従業員の属性や職務内容によってどのように異なるかを理解すること。
• 繰り返し攻撃にさらされることによる組織全体のフィッシング脆弱性の時間的推移を分析すること。
• 埋め込み型トレーニングやメール警告といった一般的なフィッシング防止ツールの有効性を評価すること。
• 従業員が集団的に効果的で持続可能なフィッシング検出メカニズムとして機能できるかを調査すること。
• 人間要因が組織的フィッシング防御に与える影響について、生態的妥当性の高い大規模な証拠を提供し、一般的な業界慣行に疑問を呈すること。

提案手法

• 14,773名の従業員が実際の職場環境で模擬フィッシングメールを受け取る、15か月にわたる大規模なフィッシング実験を実施した。
• 企業のメールクライアントに報告ボタンを導入し、リアルタイムでユーザー主導の不審メール検出を可能にした。
• クリック率、認証情報送信、マクロ実行、報告頻度といった重要な行動を測定した。
• 自動分析と手動トリアージを組み合わせたハイブリッド処理パイプラインを用いて、報告されたメールを評価した。
• 時間経過に伴う属性、職務種別、クリックパターン、報告行動に関するデータを収集・分析した。
• 警告表示や埋め込み型トレーニングの影響を、条件別にクリック率および報告頻度を比較することで評価した。

実験結果

リサーチクエスチョン

• RQ1 どの従業員がフィッシング攻撃に対して最も感受性が高く、年齢、性別、職務種別といった属性と感受性の相関関係は何か？
• RQ2 繰り返し模擬攻撃にさらされることで、組織全体のフィッシング脆弱性は時間経過とともにどのように変化するか？
• RQ3 埋め込み型フィッシングトレーニングやメール警告は、現実の組織環境においてフィッシング攻撃への感受性を効果的に低下させるか？
• RQ4 大規模組織において、従業員が集団的に効果的で迅速かつ持続可能なフィッシング検出メカニズムとして機能できるか？

主な発見

• 業界で一般的に用いられる埋め込み型フィッシングトレーニングは、耐性を高めず、むしろフィッシング攻撃への感受性を増大させる可能性がある。
• メール警告はクリックを減少させる効果があり、より高い生態的妥当性を持つ強固な証拠により、先行研究を裏付けた。
• 「繰り返しクリック者」と呼ばれる一定数の従業員が、長期間にわたり継続的にフィッシングに引っかかっていたことから、持続的な脆弱性が明らかになった。
• 従業員による報告によるクラウドソーシング型フィッシング検出により、新規のフィッシングキャンペーンが開始されてから数分以内に検出可能となった。
• 自動および手動トリアージのおかげで、数千件の報告があっても処理の運用負荷は低く抑えられた。
• 15か月にわたり、従業員の報告頻度は高く維持され、長期的な関与と実行可能性が裏付けられた。