[논문 리뷰] A Critical Assessment of Interpretable and Explainable Machine Learning for Intrusion Detection

Omer Subasi, Cree, Johnathan외 2명|arXiv (Cornell University)|2024. 07. 04.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 침입 탐지에 대한 해석 가능하고 설명 가능한 기계학습(XAI)을 비판적으로 평가하며, 복잡한 모델인 딥 네ural 네트워크(DNNs)가 불필요하게 투명성이 떨어지며, 기존 데이터셋에서 단순하고 본질적으로 해석 가능한 모델인 의사결정나무(DTs)와 동일한 성능을 내는 것으로 나타났다. 연구는 특성 기반 설명이 다양한 방법, 하이퍼파라미터, 최적화 절차 간에 매우 일관성 없음을 입증하며, 정보보안 전문가들에게는 실질적인 활용가치가 떨어지며, 대신 프로토타입 기반 모델이나 반성적 설명과 같은 대안적 접근을 권장한다.

ABSTRACT

There has been a large number of studies in interpretable and explainable ML for cybersecurity, in particular, for intrusion detection. Many of these studies have significant amount of overlapping and repeated evaluations and analysis. At the same time, these studies overlook crucial model, data, learning process, and utility related issues and many times completely disregard them. These issues include the use of overly complex and opaque ML models, unaccounted data imbalances and correlated features, inconsistent influential features across different explanation methods, the inconsistencies stemming from the constituents of a learning process, and the implausible utility of explanations. In this work, we empirically demonstrate these issues, analyze them and propose practical solutions in the context of feature-based model explanations. Specifically, we advise avoiding complex opaque models such as Deep Neural Networks and instead using interpretable ML models such as Decision Trees as the available intrusion datasets are not difficult for such interpretable models to classify successfully. Then, we bring attention to the binary classification metrics such as Matthews Correlation Coefficient (which are well-suited for imbalanced datasets. Moreover, we find that feature-based model explanations are most often inconsistent across different settings. In this respect, to further gauge the extent of inconsistencies, we introduce the notion of cross explanations which corroborates that the features that are determined to be impactful by one explanation method most often differ from those by another method. Furthermore, we show that strongly correlated data features and the constituents of a learning process, such as hyper-parameters and the optimization routine, become yet another source of inconsistent explanations. Finally, we discuss the utility of feature-based explanations.

연구 동기 및 목표

• 기존 XAI 연구에서 침입 탐지에 있어 복잡하고 투명성이 낮은 모델(DNNs)에 대한 과도한 의존이 비판적 문제를 야기하고 있음을 규명하고, 간단한 모델이 충분히 성능을 내기 때문에 이러한 모델의 사용이 정당하지 않음을 지적한다.
• 기존 XAI 평가에서 간과된 핵심 기계학습 문제들, 즉 클래스 불균형, 특성 간 상관관계, 하이퍼파라미터 민감도 등을 강조한다.
• 특성 기반 설명이 다양한 설명 방법, 모델, 학습 과정 구성 요소 간에 일관성 없음을 입증한다.
• 특성 기반 설명의 실질적 활용가치를 평가하고, 정보보안 전문가들에게 실질적인 피드백을 제공하지 못함을 보여준다.
• 프로토타입 또는 반성적 설명과 같은 비특성 기반 설명 방법으로 연구 초점을 전환할 것을 제안한다.

제안 방법

• 기존 침입 탐지 데이터셋 두 개에 대해 해석 가능한 모델(Ridge, 의사결정나무)과 DNN의 성능을 실증적으로 비교하여 모델 적합도를 평가한다.
• 클래스 불균형 문제를 다루기 위해 주로 균형 정확도와 매튜스 상관계수(MCC)를 사용하며, 기존 정확도나 F1-스코어와 비교해 더 우수한 성능을 보인다고 주장한다.
• ‘크로스-설명(Cross-explanations)’을 도입하여 일관성 테스트를 수행하며, 한 모델에서 중요도가 높다고 평가된 특성이 다른 모델에 훈련시켰을 때도 영향력을 유지하는지 평가함으로써 설명의 이행 가능성(transferability)을 분석한다.
• 하이퍼파라미터와 최적화 절차를 체계적으로 변화시켜 설명의 안정성과 일관성에 미치는 영향을 평가한다.
• 특성 간 상관관계가 설명 신뢰성에 미치는 영향을 분석하고, 의사결정나무(DTs)의 내재적 피드백(예: 결정 규칙)과 SHAP, 순열 중요도와 같은 외부 설명 방법 간의 차이를 평가한다.
• 공격 후 대응 조치를 위한 실질적 통찰을 제공할 수 있는지 평가함으로써 설명의 실질적 활용가치를 점검한다.

Figure 1 : Interpretability vs. flexibility of ML models. Note that the relationship shown here is a qualitative overview of ML models.

실험 결과

연구 질문

• RQ1 딥 네럴 네트워크(DNNs)와 같은 복잡하고 투명성이 낮은 모델이 침입 탐지에 필수적인가, 아니면 단순하고 본질적으로 해석 가능한 모델인 의사결정나무(DTs)로도 동일한 성능을 달성할 수 있는가?
• RQ2 특성 기반 설명이 다양한 설명 방법, 하이퍼파라미터, 최적화 절차 간에 어느 정도로 다를까?
• RQ3 클래스 불균형과 특성 간 상관관계는 침입 탐지에서 모델 설명의 신뢰성과 일관성에 어떤 영향을 미치는가?
• RQ4 한 모델에서 유도된 설명이 다른 모델로 의미 있게 이행될 수 있는가? 이는 설명의 일관성과 강건성 여부를 시사하는가?
• RQ5 현재 특성 기반 설명은 정보보안 전문가들에게 실질적인 피드백을 제공할 수 있는가, 아니면 실질적으로 무의미한가?

주요 결과

• 의사결정나무(DTs)와 릿지 분류기와 같은 해석 가능한 모델이 기존 침입 탐지 데이터셋에서 DNN과 동일한 분류 성능를 달성함으로써, DNN의 사용이 정당하지 않음을 입증한다.
• 불균형 데이터셋에서는 표준 분류 지표인 정확도와 F1-스코어가 오해를 낳을 수 있으며, 매튜스 상관계수(MCC)가 더 신뢰성 있고 정확한 지표임을 입증한다.
• 특성 기반 설명은 매우 일관성 없음: SHAP와 순열 중요도에서 특정로 식별된 가장 영향력 있는 특성들이 방법과 설정 간에 상당히 다름.
• 크로스-설명 분석 결과, 한 모델에서 영향력 있다고 평가된 특성이 다른 모델로는 거의 이행되지 않음. 이는 설명의 일관성과 일반화 능력 부족을 시사함.
• 하이퍼파라미터나 최적화 절차의 미세한 변화는 모델 성능에 거의 영향을 주지 않음(표준 지표 기준 ≤0.1%, MCC 기준 ≤2%), 그러나 특성 설명의 일관성에는 상당한 영향을 미침. 이는 설명의 신뢰성에 심각한 영향을 미침.
• 의사결정나무(DTs)의 내재적 피드백(예: 결정 규칙)이 있음에도 불구하고, 특성 중요도의 확률적 불일치와 실질적인 지침 부족으로 인해 현재 XAI 방법은 정보보안 전문가들에게 실질적으로 무용지물임.

(a) $M_{step}=c_{1}(T>threshold)+c_{2}H\\ \qquad M_{step}=0.9\times(T>7)+0.1\times H$