[논문 리뷰] Robust PCA for Anomaly Detection in Cyber Networks

Randy Paffenroth, Kathleen M. Kay외 1명|arXiv (Cornell University)|2018. 01. 04.

Network Security and Intrusion Detection참고 문헌 24인용 수 31

한 줄 요약

이 논문은 제한된 레이블이 부여된 학습 데이터를 사용하여 두 개의 파라미터—람다(λ)와 탐지 임계값(α)—를 최적화하는 로버스트 PCA(RPCA)-기반 악성 탐지 방법을 제안한다. 정상 네트워크 트래픽으로부터 λ를 학습하여 진정한 저질서 부분공간을 더 잘 포착함으로써, 재학습 없이도 이전에 본 적 없는 공격을 탐지할 수 있을 정도로 낮은 거짓 경고율과 높은 참 양성율을 달성한다.

ABSTRACT

This paper uses network packet capture data to demonstrate how Robust Principal Component Analysis (RPCA) can be used in a new way to detect anomalies which serve as cyber-network attack indicators. The approach requires only a few parameters to be learned using partitioned training data and shows promise of ameliorating the need for an exhaustive set of examples of different types of network attacks. For Lincoln Lab's DARPA intrusion detection data set, the method achieves low false-positive rates while maintaining reasonable true-positive rates on individual packets. In addition, the method correctly detected packet streams in which an attack which was not previously encountered, or trained on, appears.

연구 동기 및 목표

• 제한된 레이블이 부여된 학습 데이터를 바탕으로 알려지지 않았거나 이전에 본 적 없는 사이버 네트워크 공격을 탐지하는 도전 과제를 해결한다.
• 외곽치에 민감하고 정상 네트워크 행동을 정확히 모델링하지 못하는 전통적 PCA의 한계를 극복한다.
• 특정 네트워크의 정상 상태에 적응하는 비지도 학습 및 확장 가능한 이상 탐지 프레임워크를 개발한다.
• 공격 서명 데이터베이스를 광범위하게 활용하는 것에 의존도를 줄이고, 정상 트래픽으로부터 대표적인 저차원 부분공간을 학습한다.
• 레이블이 부여된 학습 데이터의 일부를 사용하여 RPCA 파라미터를 최적화함으로써, 새로운 공격 유형에 대한 탐지 성능을 향상시킨다.

제안 방법

• 원격지/내부 소스/대상 IP, 포트 번호, 패킷 크기, 출처(내부/외부) 등의 특징을 추출하기 위해 네트워크 패킷 캡처(PCAP) 데이터를 사전 처리한다.
• 로버스트 PCA(RPCA)를 적용하여 특징 행렬을 정상 네트워크 행동을 나타내는 저질서 행렬(L)과 이상을 나타내는 희소 행렬(S)으로 분해한다.
• 기존 공격 시나리오의 학습 데이터를 사용하여 RPCA의 정규화 파라미터 λ를 최적화하여 저질서 및 희소 성분 간의 균형을 이룬다.
• 레이블이 부여된 데이터를 사용하여 탐지 임계값 α를 학습하여 거짓 경고를 최소화하면서도 높은 참 양성율을 유지한다.
• 두 단계 학습 과정을 활용한다: 첫 번째 및 두 번째 공격 시나리오에서 λ와 α를 학습한 후, 세 번째로 새로운 공격 시나리오에서 성능을 평가한다.
• 정상 및 알려진 공격 데이터로부터 학습된 저질서 부분공간이 새로운 공격 패tern으로 일반화되는 것을 활용한다. 재학습 없이도 효과적으로 작동한다.

실험 결과

연구 질문

• RQ1 최적화된 λ를 사용한 RPCA가 표준 PCA 또는 문헌에서 권장하는 λ 값보다 사이버 네트워크 트래픽의 이상을 더 효과적으로 탐지할 수 있는가?
• RQ2 제한된 레이블이 부여된 학습 데이터로부터 학습된 저질서 부분공간이 이전에 본 적 없는 네트워크 공격을 탐지하는 데 얼마나 잘 일반화되는가?
• RQ3 파라미터 최적화(λ 및 α)가 실제 네트워크 데이터의 이상 탐지에서 거짓 경고율과 참 양성율에 어떤 영향을 미치는가?
• RQ4 정상 행동를 저질서 성분으로, 이상 행동를 희소 성분으로 간주하는 로버스트 PCA 방법이 기존의 서명 기반 또는 PCA 기반 방법보다 우수한가?
• RQ5 이 특정 공격 패tern이 학습 데이터에 포함되어 있지 않은 경우에도, 이 방법이 미세하거나 새로운 공격을 탐지할 수 있는가?

주요 결과

• 최적화된 λ = 0.157은 이전 연구에서 제안한 노미널 λ = 0.01096보다 약 15배 큰 값으로, 노이즈와 외곽치에 대한 과적합을 방지함으로써 거짓 경고율을 크게 감소시킨다.
• 세 번째로 이전에 본 적 없는 공격 시나리오(Sadmind 악용)에서, 이 방법은 해당 공격에 대한 학습 데이터가 없음에도 불구하고 거의 0에 가까운 거짓 경고율을 기록했으며, 합리적인 참 양성율을 유지했다.
• 수신기 작동 특성(ROC) 곡선 분석 결과, 최적화된 RPCA 방법은 모든 임계값 α에서 표준 PCA 및 노미널 RPCA를 모두 압도했으며, 특히 새로운 공격을 탐지하는 데서 두드러진 성능을 보였다.
• 최적화된 λ를 사용한 RPCA로 계산된 저질서 부분공간은 네트워크의 진정한 정상 상태를 더 잘 표현하며, 학습 데이터를 초월하는 다양한 이상 현상을 탐지할 수 있다.
• 이 방법은 레이블이 부여된 데이터에서 학습이 필요한 파라미터가 단지 두 개(λ 및 α)뿐이므로, 레이블이 극히 부족한 실세계 환경에서의 구현에 매우 효율적이다.
• 공격 유형이 학습 예제와 크게 다를 경우에도, 이 방법은 이상 패킷 스트림을 성공적으로 탐지하여 강력한 일반화 능력을 입증했다.