[논문 리뷰] Gamifying Education and Research on ICS Security: Design, Implementation and Results of S3

Daniele Antonioli, Hamid Reza Ghaeini외 3명|arXiv (Cornell University)|2017. 02. 10.

Smart Grid Security and Resilience참고 문헌 18인용 수 7

한 줄 요약

이 논문은 정보기술(정보보안)과 산업공학 간 격차를 메우기 위해 실제 및 시뮬레이션된 산업제어시스템(ICS) 테스트베드를 결합한, 산업제어시스템(ICS) 보안에 초점을 맞춘 최초의 CTF(캡처더플래그) 사이버보안 대회인 S3를 제시한다. 대회는 온라인 점수식 및 현장 공격-방어 방식의 이중 구조로 구성되었으며, 6개 팀이 총 18건의 성공적 공격을 수행했으며, 이 중 대부분은 학술적 방어 시스템에 의해 탐지되어 게임 기반 ICS 보안 교육의 효과성을 입증한다.

ABSTRACT

In this work, we consider challenges relating to security for Industrial Control Systems (ICS) in the context of ICS security education and research targeted both to academia and industry. We propose to address those challenges through gamified attack training and countermeasure evaluation. We tested our proposed ICS security gamification idea in the context of the (to the best of our knowledge) first Capture-The-Flag (CTF) event targeted to ICS security called SWaT Security Showdown (S3). Six teams acted as attackers in a security competition leveraging an ICS testbed, with several academic defense systems attempting to detect the ongoing attacks. The event was conducted in two phases. The online phase (a jeopardy-style CTF) served as a training session. The live phase was structured as an attack-defense CTF. We acted as judges and we assigned points to the attacker teams according to a scoring system that we developed internally based on multiple factors, including realistic attacker models. We conclude the paper with an evaluation and discussion of the S3, including statistics derived from the data collected in each phase of S3.

연구 동기 및 목표

• 정보기술(보안)과 산업제어시스템 간의 문화적·기술적 격차로 인해 증가하는 전문화된 ICS 보안 교육의 필요성을 해결하기 위해.
• 연구 및 훈련을 위한 접근 가능하고 현실적인 ICS 테스트베드의 부족으로 인해 실습 학습과 실험의 기회가 제한되는 문제를 해결하기 위해.
• 제어 이론, 사이버보안, 공학 간의 다학제적 격차를 해소하기 위해 상호작용적이고 게임화된 학습 환경을 조성하기 위해.
• 공격 및 방어 보안 훈련을 실제 세계적 맥락에서 통합한, 확장 가능하고 반복 가능한 ICS 보안 대회 프레임워크를 제공하기 위해.
• 게임화된 CTF 이벤트가 학계 및 산업계에서 ICS 보안 교육 및 연구를 어떻게 효과적으로 발전시킬 수 있는지 입증하기 위해.

제안 방법

• 실제 수처리 공장 테스트베드와 시뮬레이션 환경을 사용하여, 온라인 예선과 현장 공격-방어 대회로 구성된 이중 단계 CTF 이벤트를 설계 및 구현하였다.
• 공격 팀의 성과 평가를 위해 실제 공격 모델을 반영한 맞춤형 다중 요소 스코어링 시스템을 도입하였으며, 이는 성공 여부, 은밀성, 영향력 등을 포함한다.
• 현장 단계에서 공격자 행동을 실시간으로 모니터링하고 평가하기 위해 두 개의 학술적 탐지 시스템을 통합하여 자동화된 방어 검증을 가능하게 하였다.
• 참가자들이 실제 공격 표면을 노출받을 수 있도록, PLC, HMI, 네트워크 구성 등 타깃 ICS 시스템의 완전한 문서화 자료를 제공하였다.
• 실제 산업 위협을 반영하기 위해 실존하는 ICS 프로토콜(예: Modbus, DNP3)과 공격 벡터(예: 프로토콜 조작, 권한 상승)를 중심으로 도전 과제를 구성하였다.
• 현장의 현실성, 확장성, 안전성을 균형 있게 확보하기 위해 물리적 ICS 하드웨어와 시뮬레이션된 구성 요소를 융합한 하이브리드 인프라를 사용하였다.

실험 결과

연구 질문

• RQ1 게임화된 CTF 프레임워크는 공격 및 방어 기법을 동시에 효과적으로 훈련하고 평가할 수 있는가?
• RQ2 실제 및 시뮬레이션된 ICS 테스트베드는 대규모, 안전하고 반복 가능한 사이버보안 대회를 지원할 수 있는가?
• RQ3 학술적 탐지 시스템은 실제 공격이 발생하는 현장의 적대적 CTF 환경에서 실질적인 ICS 공격을 얼마나 효과적으로 탐지할 수 있는가?
• RQ4 실제 인프라와 다학제적 팀이 참여하는 ICS 전용 CTF를 조직할 때 발생하는 주요 설계 및 운영 과제는 무엇인가?
• RQ5 기존의 교육 방식에 비해 게임화는 ICS 보안 교육에서 참여도와 학습 성과를 얼마나 뚜렷하게 향상시키는가?

주요 결과

• S3의 온라인 단계에는 6개 팀이 참가하여 총 77개의 정확한 플래그를 제출하여 시뮬레이션된 ICS 환경에서의 높은 참여도와 성공적인 학습을 보여주었다.
• 현장 단계에서 팀들은 총 18건의 성공적 공격을 수행하였으며, 이는 제어된 대회 환경에서 실제 세계의 ICS 공격 기법이 실현 가능함을 입증한다.
• 18건의 공격 중 15건(총 18건의 83.3%)이 적어도 한 개 이상의 학술적 방어 시스템에 의해 탐지되어 탐지 메커니즘의 효과성을 검증하였다.
• 맞춤형 스코어링 시스템은 은밀성과 영향력과 같은 공격 행동의 미묘한 특징을 효과적으로 포착하여 팀 성과의 공정하고 자동화된 평가를 가능하게 하였다.
• 참가자들은 ICS 전용 프로토콜과 공격 체인을 이해하는 데 있어 높은 동기부여와 기술적 학습을 경험했다.
• 이벤트는 학계 및 산업계 참가자 모두에게 ICS 보안 인식과 도구 사용에 있어 심각한 격차가 있음을 드러내었으며, 이는 보다 집중적인 훈련 프로그램의 필요성을 강조한다.