[论文解读] Gamifying Education and Research on ICS Security: Design, Implementation and Results of S3

Daniele Antonioli, Hamid Reza Ghaeini+3 more|arXiv (Cornell University)|Feb 10, 2017

Smart Grid Security and Resilience参考文献 18被引用 7

一句话总结

本文介绍了S3，这是首个专注于工业控制系统（ICS）安全的夺旗赛（CTF）网络攻防竞赛，通过结合真实与模拟的ICS测试平台，弥合了IT安全与工业工程之间的鸿沟。赛事采用两阶段结构——线上解谜赛和现场攻防对抗赛，六支队伍成功实施了18次攻击，其中大多数被学术界的防御系统检测到，证明了游戏化ICS安全训练的有效性。

ABSTRACT

In this work, we consider challenges relating to security for Industrial Control Systems (ICS) in the context of ICS security education and research targeted both to academia and industry. We propose to address those challenges through gamified attack training and countermeasure evaluation. We tested our proposed ICS security gamification idea in the context of the (to the best of our knowledge) first Capture-The-Flag (CTF) event targeted to ICS security called SWaT Security Showdown (S3). Six teams acted as attackers in a security competition leveraging an ICS testbed, with several academic defense systems attempting to detect the ongoing attacks. The event was conducted in two phases. The online phase (a jeopardy-style CTF) served as a training session. The live phase was structured as an attack-defense CTF. We acted as judges and we assigned points to the attacker teams according to a scoring system that we developed internally based on multiple factors, including realistic attacker models. We conclude the paper with an evaluation and discussion of the S3, including statistics derived from the data collected in each phase of S3.

研究动机与目标

• 应对IT安全与工业控制系统之间因文化与技术差异而产生的专业化ICS安全教育需求日益增长的问题。
• 克服现有可访问、真实的ICS测试平台稀缺的问题，以限制实践学习与实验。
• 通过创建互动式、游戏化的学习环境，弥合控制理论、网络安全与工程之间的跨学科鸿沟。
• 提供一个可扩展、可重复的ICS安全竞赛框架，将进攻与防御安全训练整合到真实世界情境中。
• 证明游戏化CTF活动在推动学术界与工业界ICS安全教育与研究方面的可行性与有效性。

提出的方法

• 设计并部署了两阶段CTF赛事——线上预赛与现场攻防对抗赛，使用真实水处理厂测试平台与仿真环境。
• 基于真实攻击模型（包括利用成功度、隐蔽性与影响程度）实施自定义的多因素评分系统，用于评估攻击方团队。
• 在赛事现场阶段集成两套学术检测系统，实时监控并评估攻击行为，实现防御能力的自动化验证。
• 向参赛者提供目标ICS系统的完整文档，包括PLC、HMI与网络配置，以确保真实攻击面的暴露。
• 围绕真实ICS协议（如Modbus、DNP3）与攻击向量（如协议操纵、权限提升）设计挑战，以反映实际工业威胁。
• 采用混合基础设施，结合物理ICS硬件与仿真组件，在竞赛环境中平衡真实性、可扩展性与安全性。

实验结果

研究问题

• RQ1 游戏化CTF框架是否能有效训练并评估ICS安全从业者在进攻与防御技术方面的能力？
• RQ2 真实与模拟的ICS测试平台在多大程度上能够支持大规模、安全且可重复的网络安全竞赛？
• RQ3 学术检测系统在真实对抗性CTF环境中识别现实世界ICS攻击的效率如何？
• RQ4 组织涉及真实基础设施与跨学科团队的ICS聚焦型CTF赛事时，面临的关键设计与运营挑战是什么？
• RQ5 与传统培训方法相比，游戏化是否显著提升了ICS安全教育中的参与度与学习成效？

主要发现

• S3的线上阶段吸引了六支队伍，共提交77个正确旗帜，表明在模拟ICS环境中参与度高且学习成效显著。
• 在实战阶段，各队成功执行了18次攻击，证明了在受控竞赛环境中真实世界ICS攻击技术的可行性。
• 在18次攻击中，有15次（占83%）被至少一套学术防御系统检测到，验证了检测机制的有效性。
• 自定义评分系统成功捕捉了攻击行为的细微差别，包括隐蔽性与影响程度，实现了团队表现的公平且自动化的评估。
• 参赛者报告称具有高度的参与动机与技术收获，尤其在理解ICS专用协议与攻击链方面。
• 赛事暴露出学术界与工业界参与者在ICS安全意识与工具使用方面存在关键短板，凸显了开展更针对性培训的迫切需求。