[논문 리뷰] Should I Raise The Red Flag? A comprehensive survey of anomaly scoring methods toward mitigating false alarms

Zahra Zohrevand, Uwe Glässer|arXiv (Cornell University)|2019. 04. 14.

Network Security and Intrusion Detection참고 문헌 75인용 수 5

한 줄 요약

이 논문은 침입 탐지 시스템에서 임의의 경고를 줄이기 위한 이상치 점수 측정 방법에 대한 종합적인 분석적 리뷰를 제공한다. 이는 이상치 점수 향상, 임계값 조정 및 후행 필터링 기법을 평가하며, 이상치 점수의 핵심 역할을 강조하여 탐지 재현율을 유지하면서도 임의의 경고를 최소화하는 데 기여한다.

ABSTRACT

Nowadays, advanced intrusion detection systems (IDSs) rely on a combination of anomaly detection and signature-based methods. An IDS gathers observations, analyzes behavioral patterns, and reports suspicious events for further investigation. A notorious issue anomaly detection systems (ADSs) and IDSs face is the possibility of high false alarms, which even state-of-the-art systems have not overcome. This is especially a problem with large and complex systems. The number of non-critical alarms can easily overwhelm administrators and increase the likelihood of ignoring future alerts. Mitigation strategies thus aim to avoid raising `too many' false alarms without missing potentially dangerous situations. There are two major categories of false alarm-mitigation strategies: (1) methods that are customized to enhance the quality of anomaly scoring; (2) approaches acting as filtering methods in contexts that aim to decrease false alarm rates. These methods have been widely utilized by many scholars. Herein, we review and compare the existing techniques for false alarm mitigation in ADSs. We also examine the use of promising techniques in signature-based IDS and other relevant contexts, such as commercial security information and event management tools, which are promising for ADSs. We conclude by highlighting promising directions for future research.

연구 동기 및 목표

• 관리자들을 과도하게 압도시키고 시스템 신뢰성을 떨어뜨리는 이상 탐지 시스템(ADSs)에서 높은 임의의 경고 비율을 해결하는 데 있어 지속적인 과제를 해결한다.
• 특히 이상치 점수 향상과 임계값 선택에 중점을 둔 기존의 임의의 경고 완화 전략을 체계적으로 리뷰하고 비교한다.
• 이상 탐지 방법 간 표준화 및 성능 보고의 격차를 부각하며, 통일된 평가 프레임워크의 필요성을 주장한다.
• 서명 기반 및 SIEM 기법이 이상 탐지에 어떻게 적용될 수 있는지 탐색하여 향후 하이브리드 접근 방식을 안내한다.
• 실제 운영 환경에 적합한 평가, 확장성 및 데이터 드리프트에 대한 적응성 부족과 같은 주요 연구 격차를 식별한다.

제안 방법

• 임의의 경고 완화를 두 가지 주요 유형으로 분류한다: (1) 이상치 점수 품질 향상 기법과 (2) 점수 이후 적용되는 필터링 기법.
• 정상 행동 추정 및 이상 탐지에서의 불확실성 감소를 위한 시계열 예측 및 확률 모델링을 핵심 구성 요소로 분석한다.
• 관측치 간 상관관계 또는 시간적 패턴을 활용해 이상치 점수를 재스케일링하는 집단 분석 및 시퀀스 기반 점수 측정 전략을 검토한다.
• 런타임 성능 및 드리프트를 기반으로 탐지 임계값을 동적으로 조정하는 후행 필터링 및 적응형 임계값 설정 기법을 분석한다.
• 모델 기반 및 데이터 기반 접근 방식을 융합한 하이브리드 모델을 조사하며, LSTM, 오토에인커, GAN과 같은 딥러닝 아키텍처를 활용해 행동 모델링을 향상시킨다.
• 공개 벤치마크(예: NAB, PyOD)를 활용한 표준화된 평가 및 통일된 점수 형식의 필요성을 제안하여 공정한 비교 및 모델 앙상블 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 악성 활동 탐지를 손상시키지 않으면서 이상치 점수 측정 방법을 어떻게 개선하여 임의의 경고를 줄일 수 있는가?
• RQ2 실시간 시스템에서 임의의 경고를 최소화하기 위해 가장 효과적인 임계값 계산 및 동적 조정 전략은 무엇인가?
• RQ3 서명 기반 IDS 및 SIEM 도구에서 유래한 기법들이 이상 탐지 시스템 향상에 얼마나 적합하게 적용될 수 있는가?
• RQ4 성능 메트릭의 표준화된 평가 및 보고의 부재가 이상 탐지 연구의 진전을 저해하는 이유는 무엇인가?
• RQ5 데이터 드리프트 및 개념 전이가 이상 탐지 성능에 어떤 영향을 미치며, 장기적으로도 안정성을 확보하기 위한 방법은 무엇인가?

주요 결과

• 임의의 경고 완화는 일반적으로 시스템 사용성에 직접적인 영향을 미치는 점수 측정 단계에 크게 의존하며, 이는 여전히 부족한 주목을 받고 있다.
• 많은 기존 기법들이 고유한 데이터셋과 비균일한 점수 형식을 사용하여, 서로 다른 방법 간 비교 및 통합이 어려운 상황이다.
• 후행 필터링 및 적응형 임계값 설정 전략은 런타임 성능 기반으로 탐지 파rameter를 조정함으로써 임의의 경고를 줄이는 데 잠재력을 보이고 있다.
• 시퀀스 기반 및 집단 점수 측정 접근 방식은 상관관계 및 시간적 패턴을 분석함으로써 고립된 임의의 경고를 줄여 탐지 성능을 향상시킨다.
• 행동 모델링을 위한 딥러닝의 발전에도 불구하고, 특정한 이상 유형(특히 은밀하거나 군집된 공격)에 대해 최적의 성능을 보이는 단일 모델은 아직 존재하지 않는다.
• 표준화된 벤치마크 및 성능 보고의 부재로 인해 신규 이상 탐지 기법의 재현성과 실용적 도입이 제한된다.