[논문 리뷰] A Public Network Trace of a Control and Automation System

Gorby Kabasele Ndonda, Ramin Sadre|arXiv (Cornell University)|2019. 08. 06.

Network Security and Intrusion Detection참고 문헌 9인용 수 4

한 줄 요약

이 논문은 대학 캠퍼스의 실제 빌딩 관리 시스템(BMS) 허브 및 공기 조절 시스템(HVAC) 인fra구조에서 수집한 최초의 공개 가능한 네트워크 트레이스를 제시한다. 이 트레이스는 현장 장치, 제어 서버, HMI에서 발생하는 정상적인 패킷 헤더를 캡처하였다. 이 데이터셋은 연구자들이 실제 조건에서 흐름 기반 침입 탐지 시스템(N-IDS)을 평가할 수 있도록 하며, 개인정보 보호를 이유로 페이로드를 노출하지 않은 채로 안정적이고 장기적인 연결 및 일일 주기적 트래픽 패턴에 대한 통찰을 제공한다.

ABSTRACT

The increasing number of attacks against automation systems such as SCADA and their network infrastructure have demonstrated that there is a need to secure those systems. Unfortunately, directly applying existing ICT security mechanisms to automation systems is hard due to constraints of the latter, such as availability requirements or limitations of the hardware. Thus, the solution privileged by researchers is the use of network-based intrusion detection systems (N-IDS). One of the issue that many researchers encounter is how to validate and evaluate their N-IDS. Having access to a real and large automation systems for experimentation is almost impossible as companies are not inclined to give access to their systems due to obvious concerns. The few public traffic datasets that could be used for off-line experiments are either synthetic or collected at small testbeds. In this paper, we will describe and characterize a public traffic dataset collected at the HVAC management system of a university campus. Although the dataset contains only packet headers, we believe that it can help researchers, in particular designers of flow-based IDS, to validate their solutions under more realistic conditions. The traces can be found on https://github.com/gkabasele/HVAC_Traces.

연구 동기 및 목표

• 보안 연구를 위한 산업 제어 시스템에서의 공개 가능하고 실제 세계의 네트워크 트레이스가 부족한 문제를 해결하기 위해.
• 기밀 또는 실시간 시스템에 대한 액세스 없이도 흐름 기반 네트워크 침입 탐지 시스템(N-IDS)을 검증하고 평가할 수 있는 현실적인 데이터셋을 제공하기 위해.
• 실제 운영 중인 BMS에서의 실제 트래픽 특성 제공을 통해 정확한 합성 트래픽 모델 및 테스트베드 구성 개발을 지원하기 위해.
• 자동화 시스템에서의 정상 트래픽 패턴, 특히 일일 리듬과 흐름 안정성에 대해 연구자들이 연구할 수 있도록 하기 위해.
• 공개된, 접근 가능한 데이터셋과 문서화된 수집 방법 및 시스템 맥락을 제공함으로써 재현 가능한 실험을 가능하게 하기 위해.

제안 방법

• 대학 캠퍼스 내 실제 HVAC 관리 시스템에서 두 개의 게이트웨이에서 네트워크 모니터링을 통해 패킷 헤더를 캡처하였다.
• 지속적인 기간 동안 데이터를 수집하였으며, 제어 서버, HMI, 현장 장치(PLC/RTU) 간의 통신에 집중하였다.
• 패킷 헤더에서 흐름 수준의 특징, 즉 패킷 수, 바이트 크기, 흐름 지속 시간, 연결 패턴 등을 추출하였다.
• 시간 단위(시간별, 일일 주기) 및 게이트웨이 간 분석을 통해 안정성과 이질성을 식별하기 위해 다양한 시간 척도에서 트래픽 행동을 분석하였다.
• 개인정보 보호를 위해 페이로드 데이터를 제외하고도 시간 태그, 크기, 흐름 메타데이터를 유지하여 트래픽 모델링 및 이상 탐지에 활용하였다.
• 재현 가능성을 높이고 IDS 연구 분야에서의 공동 활용을 지원하기 위해 GitHub를 통해 데이터셋을 공개하였다.

실험 결과

연구 질문

• RQ1 실제 세계의 BMS HVAC 시스템의 주요 트래픽 특성은 무엇이며, 특히 흐름 안정성과 일일 패턴 측면에서 어떻게 나타나는가?
• RQ2 실제 산업 제어 시스템 네트워크는 기존 IT 네트워크와 비교해 얼마나 예측 가능하고 장기적인 연결을 가지는가?
• RQ3 공개된 실제 세계의 BMS 트레이스는 합성 트래픽 생성 및 N-IDS 평가의 현실성과 타당성을 어떻게 향상시킬 수 있는가?
• RQ4 안정적인 BMS 환경에서 어떤 이상 또는 비정상적인 트래픽 패턴이 나타나며, 이는 침입 탐지 시스템에 어떤 영향을 미칠 수 있는가?
• RQ5 합성 공격 트래픽과 함께 사용할 경우, 실제 BMS 시스템에서의 공개 트레이스는 흐름 기반 IDS 연구의 신뢰할 수 있는 기준점이 될 수 있는가?

주요 결과

• 데이터셋은 약 150만 개의 고유한 흐름을 24시간 동안 캡처하였으며, 대부분의 흐름이 트레이스 전체 기간 동안 유지되어 높은 흐름 안정성을 나타낸다.
• 트래픽은 명확한 일일 주기 패턴을 보이며, 수업 예약 및 시스템 업데이트 등 인간 활동과 관련된 낮 시간대에 활동이 최고조에 이른다.
• 시간당 새로 발견된 흐름 수는 일반적으로 일정하게 유지되며(500 미만), DCE/RPC의 포트 변경 및 소프트웨어 업데이트로 인한 짧은 피크가 있음.
• 게이트웨이 X는 게이트웨이 Y보다 훨씬 더 많은 트래픽을 생성하였으며, 게이트웨이 Y에서는 200만 개 이상의 빈 ACK 패킷이 관찰되어 비대칭 통신 패턴을 시사한다.
• 데이터셋에는 악성 페이로드나 공격 이벤트가 전혀 포함되어 있지 않아, 이상 탐지 모델의 학습 및 테스트에 적합하다.
• 그럼에도 불구하고 시스템은 갑작스러운 흐름 생성 및 패킷 수 증가와 같은 일시적인 이상 현상을 보이며, 이는 N-IDS의 가짜 경고율에 도전이 될 수 있다.