[논문 리뷰] Explainable Artificial Intelligence and Cybersecurity: A Systematic Literature Review

Carlos Rafael Borges Mendes, Tatiane Nogueira Rios|arXiv (Cornell University)|2023. 02. 27.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 체계적 문헌 리뷰는 사이버보안 분야에서 설명 가능한 인공지능(XAI) 기법을 조사하여, 침입 탐지, 악성코드 분류, 이상 탐지 분야에서 모델 결정을 설명하는 데 가장 뛰어난 성능을 보인 LIME, SHAP, 그리고 색소맵을 규명한다. 본 연구는 LIME와 SHAP와 같은 사후적 방법이 그 해석 가능성과 정확도 덕분에 널리 채택되어 왔음을 밝히지만, 계산 비용과 모델에 특화된 제약 등의 한계가 여전히 존재함을 밝혀낸다.

ABSTRACT

Cybersecurity vendors consistently apply AI (Artificial Intelligence) to their solutions and many cybersecurity domains can benefit from AI technology. However, black-box AI techniques present some difficulties in comprehension and adoption by its operators, given that their decisions are not always humanly understandable (as is usually the case with deep neural networks, for example). Since it aims to make the operation of AI algorithms more interpretable for its users and developers, XAI (eXplainable Artificial Intelligence) can be used to address this issue. Through a systematic literature review, this work seeks to investigate the current research scenario on XAI applied to cybersecurity, aiming to discover which XAI techniques have been applied in cybersecurity, and which areas of cybersecurity have already benefited from this technology.

연구 동기 및 목표

• 사이버보안 분야에 적용된 XAI 연구의 현재 상태를 조사하기 위해.
• 사이버보안 응용 분야에서 가장 흔하게 사용되는 XAI 기법을 규명하기 위해.
• 실제 사이버 방어 환경에서 XAI 방법의 효과성과 한계를 분석하기 위해.
• AI 기반 보안 시스템에서 신뢰도 향상, 디버깅 및 의사결정 지원에 XAI가 어떻게 기여하는지 평가하기 위해.
• XAI 도입의 격차와 과제를 규명함으로써 향후 연구를 위한 로드맵을 제시하기 위해.

제안 방법

• PRISMA 지침을 따르는 체계적 문헌 리뷰(SLR)를 수행하여 관련 연구를 식별하였다.
• XAI와 사이버보안 관련 关련 키워드를 사용해 학술 데이터베이스를 검색하였으며, 엄격한 포함/배제 기준을 적용하였다.
• XAI 기법을 내재적(예: 결정 트리)과 사후적(예: LIME, SHAP, 색소맵) 방법으로 분류하였다.
• 침입 탐지, 악성코드 분류, 이상 탐지 등의 응용 분야별로 연구를 분석하였다.
• 이해 가능성, 정확도, 충분성, 계산 오버헤드 측면에서 XAI 방법을 평가하였다.
• 52개의 연구에서 도출된 결과를 종합하여 추세, 한계 및 실용적 함의를 평가하였다.

실험 결과

연구 질문

• RQ1 사이버보안 연구에서 가장 자주 적용되는 XAI 기법은 무엇인가?
• RQ2 침입 탐지, 악성코드 분류 등의 사이버보안 분야에서 XAI 기법이 가장 효과적인 분야는 어디인가?
• RQ3 사이버보안 응용 분야에서 LIME과 SHAP와 같은 사후적 XAI 방법의 정확도와 이해 가능성 측면에서의 비교는 어떻게 되는가?
• RQ4 실제 사이버보안 시스템에 XAI를 적용할 때 주요 한계와 과제는 무엇인가?
• RQ5 XAI는 AI 기반 보안 의사결정 과정에서 신뢰도 향상, 디버깅 및 공정성 향상에 어떻게 기여하는가?

주요 결과

• LIME와 SHAP는 사이버보안 분야에서 가장 널리 사용되는 사후적 XAI 기법으로, 특히 침입 탐지 및 악성코드 분류 분야에서 두드러진다.
• 색소맵과 히트맵 기반 설명은 딥러닝 모델에서 특성 중요도를 시각화하는 데 효과적이지만, 이해하기 위해서는 도메인 전문 지식이 필요하다.
• 특히 악성코드 탐지 작업에서 내재적인 해석 가능성 덕분에 랜덤 포레스트가 신경망보다 선호된다.
• 통계 기반 XAI 방법인 TRUST는 침입 탐지 분야에서 잠재력을 보이고 있지만, 분포 가정에 민감하고 과적합의 위험이 있다.
• LIME와 SHAP와 같은 XAI 기법은 악성 공격 예측에 영향을 주는 핵심 특성을 규명함으로써 모델의 투명성을 향상시키며, 위협 분류에 도움을 준다.
• 그러나 이러한 기법들은 높은 계산 비용, 모델에 특화된 호환성 문제(예: LIME는 CNN에 적용 불가), 해석의 자동화 부족 등의 과제에 직면해 있다.