[논문 리뷰] On the Elements of Datasets for Cyber Physical Systems Security

Ashraf Tantawy|arXiv (Cornell University)|2022. 08. 17.

Network Security and Intrusion Detection인용 수 4

한 줄 요약

이 논문은 사이버-물리 시스템(CPS) 보안을 위한 종합적인 데이터셋 아키텍처를 제안하며, 물리적 요소, 사이버 요소, 공격 데이터 요소를 통합하여 강력한 AI 기반 보안 솔루션을 가능하게 한다. 기존 데이터셋과 테스트베드의 한계를 분석함으로써 레이블링, 공격 다양성, 확장성 측면에서의 핵심 격차를 밝히며, 재현성과 재사용 문제를 해결하기 위해 가상화된 테스트베드의 도입을 주장한다.

ABSTRACT

Datasets are essential to apply AI algorithms to Cyber Physical System (CPS) Security. Due to scarcity of real CPS datasets, researchers elected to generate their own datasets using either real or virtualized testbeds. However, unlike other AI domains, a CPS is a complex system with many interfaces that determine its behavior. A dataset that comprises merely a collection of sensor measurements and network traffic may not be sufficient to develop resilient AI defensive or offensive agents. In this paper, we study the \emph{elements} of CPS security datasets required to capture the system behavior and interactions, and propose a dataset architecture that has the potential to enhance the performance of AI algorithms in securing cyber physical systems. The framework includes dataset elements, attack representation, and required dataset features. We compare existing datasets to the proposed architecture to identify the current limitations and discuss the future of CPS dataset generation using testbeds.

연구 동기 및 목표

• 사이버-물리 시스템(CPS)에서 효과적인 AI 기반 보안을 위해 필수적인 데이터 요소를 특정하기.
• 일반적으로 물리적 동역학, 공격 맥락, 적절한 레이블링을 결여한 기존 CPS 보안 데이터셋의 부족함과 한계를 해결하기.
• 방어적 및 공격적 AI 연구를 모두 지원할 수 있는 표준화된 데이터셋 아키텍처를 제안하기.
• 현재 데이터셋의 단점—예를 들어 시스템 장애 모드 누락, 낮은 문서화 수준, 클래스 불균형—을 부각하고, 가상화된 테스트베드를 확장 가능한 대안으로 제안하기.
• 잘 구조화되고 문서화되며 확장 가능한 데이터셋을 통해 재현 가능한 연구를 가능하게 하고, 중복된 테스트베드 개발을 제거함으로써 보다 넓은 연구 재사용을 가능하게 하기.

제안 방법

• CPS를 핵심 구성요소—물리 시스템, 사이버 시스템, 공격자—로 분해하여 상호작용에서 관련된 데이터셋 요소를 추출한다.
• 세 가지 주요 데이터셋 요소를 정의한다: 물리적 데이터(센서/액추에이터 측정값), 사이버 데이터(네트워크 트래픽, 로그), 공격 데이터(공격 유형, 벡터, 시기).
• 공격 의미론, 은폐성, 물리적 프로세스에 대한 영향을 포함하는 공격 표현 프레임워크를 도입하며, MITRE ATT&CK와 같은 프레임워크와 일치시킨다.
• 완전한 공격 벡터에 대한 레이블링, 클래스 균형, 확장성과 같은 핵심 데이터셋 기능을 제안하여 강력한 AI 모델 훈련을 지원한다.
• 기존 데이터셋(예: WADI, HAI, S4X15CTF, DEFCON23)을 제안된 아키텍처 기준으로 평가하여 커버리지 격차를 파악한다.
• 향후 데이터셋 생성을 위한 가상화된 테스트베드가 물리적 테스트베드보다 확장 가능하고 재사용 가능하며 비용 효율적인 대안이 될 수 있음을 주장한다.

실험 결과

연구 질문

• RQ1 시스템 행동과 사이버-물리 상호작용을 정확히 표현하기 위해 CPS 보안 데이터셋에 포함되어야 할 핵심 데이터 요소는 무엇인가?
• RQ2 공격 데이터는 어떻게 데이터셋에 의미 있게 표현되어야 하며, 이는 방어적 및 공격적 AI 연구를 모두 지원할 수 있는가?
• RQ3 기존 CPS 보안 데이터셋이 강력한 AI 모델 훈련을 지원하지 못하는 이유는 무엇이며, 그 구조적 결함는 무엇인가?
• RQ4 가상화된 테스트베드는 물리적 테스트베드의 확장성과 재사용성 한계를 어느 정도 해결할 수 있는가?
• RQ5 재현 가능하고 재사용 가능한 연구를 가능하게 하기 위해 필수적인 데이터셋 기능—예를 들어, 레이블링의 세분성, 클래스 균형, 문서화—는 무엇인가?

주요 결과

• 기존 CPS 보안 데이터셋은 시스템 장애 모드, 포괄적인 공격 레이블링, 호스트 로그와 같은 핵심 요소를 결여하여 AI 훈련에 대한 활용도가 제한된다.
• 대부분의 데이터셋은 DoS 공격이나 다양한 공격 시나리오를 포함하지 않으며, 많은 경우 개별 네트워크 레코드 수준의 레이블링 외에는 공격 벡터의 전체 맥락을 누락하고 있다.
• 실제 사이버 공격을 테스트베드에 수동으로 삽입하는 데 있어 노동 집약적인 성격으로 인해 클래스 불균형 문제가 심각하다.
• 물리적 테스트베드는 대규모 AI 연구에 비효율적이며, 연구 그룹 간에 중복되고 고립된 노력이 반복된다.
• 가상화된 테스트베드는 일관된 문서화를 통해 확장 가능하고 반복 가능하며 재사용 가능한 데이터셋 생성이 가능하므로, 향후 긍정적인 방향으로 나아갈 수 있다.
• 공개된 데이터셋에서 표준화된 문서화 및 메타데이터의 부족은 연구자가 테스트베드를 다시 구축하도록 강제하여 공동 연구 진전을 저해한다.