[논문 리뷰] On the Importance of Domain-specific Explanations in AI-based Cybersecurity Systems (Technical Report)

Jose N. Paredes, Juan Carlos Teze외 2명|arXiv (Cornell University)|2021. 08. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 7

한 줄 요약

이 논문은 사이버보안 분야의 설명 가능 인공지능(XAI)을 위한 도메인 특화된 바람직한 조건(Desiderata)을 제안하고, 상징적 및 비상징적 AI 구성요소를 통합한 새로운 아키텍처를 도입하며, 비교 분석을 통해 사이버보안 맥락에 기반한 맞춤형 설명이 위협 탐지 및 대응에서 효과적인 인간-AI 협업을 위해 필수적임을 입증한다.

ABSTRACT

With the availability of large datasets and ever-increasing computing power, there has been a growing use of data-driven artificial intelligence systems, which have shown their potential for successful application in diverse areas. However, many of these systems are not able to provide information about the rationale behind their decisions to their users. Lack of understanding of such decisions can be a major drawback, especially in critical domains such as those related to cybersecurity. In light of this problem, in this paper we make three contributions: (i) proposal and discussion of desiderata for the explanation of outputs generated by AI-based cybersecurity systems; (ii) a comparative analysis of approaches in the literature on Explainable Artificial Intelligence (XAI) under the lens of both our desiderata and further dimensions that are typically used for examining XAI approaches; and (iii) a general architecture that can serve as a roadmap for guiding research efforts towards the development of explainable AI-based cybersecurity systems -- at its core, this roadmap proposes combinations of several research lines in a novel way towards tackling the unique challenges that arise in this context.

연구 동기 및 목표

• AI 기반 사이버보안 시스템에서 사용자가 의사결정의 근거를 이해하지 못하는 설명 가능성의 핵심 격차를 해소하기 위해.
• 고품질, 시기적절하고 실행 가능한 설명을 위한 도메인 특화된 요구사항(Desiderata)을 식별하고 체계화하기 위해.
• 다양한 AI 연구 분야—상징적 추론, 자연어 처리(NLP), 논증 이론, 온톨로지, 인간-컴퓨터 상호작용(HCI)—를 통합하여 사용자 우호적이고 신뢰할 수 있는 설명을 생성하는 통합 아키텍처 프레임워크를 제안하기 위해.
• 미래의 연구 및 개발을 인간이 참여하는 의사결정 과정을 지원하는 설명 가능 사이버보안 시스템으로 이끌기 위해.
• 동적인 고위험 사이버 위협 환경의 고유한 과제에 특화된 설명 가능 인공지능(XAI) 접근법을 평가하고 향상시키기 위한 기반을 마련하기 위해.

제안 방법

• 위협 탐지 및 대응 맥락에서의 품질 높은 설명을 위해 필수적인 특성인 시기적절성, 사용자 중심성, 추적 가능성, 맥락 인식 능력 등을 포함한 6개의 Desiderata(D1–D6)를 제안한다.
• 도메인 시각화를 위한 도식(그림 3)을 포함한 새로운 시스템 아키텍처를 개발하여 상징적 추론, 비상징적 AI(예: 딥러닝) 및 HCI 원칙을 통한 인간-컴퓨터 상호작용을 통합한다.
• 도메인 의미론과 논리적 구조에 기반한 설명 생성을 위해 계산 기반 논증과 온톨로지 기반 추론을 활용한다.
• 기술적 AI 출력을 인간이 이해할 수 있는 설명으로 변환하기 위해 자연어 처리(NLP)를 통합한다.
• 데이터 기반 모델(예: 신경망)과 지식 기반 시스템을 결합하여 정확성과 해석 가능성 모두를 확보한 보강된 설명을 생성한다.
• 동적인 변화하는 위협 분석과 실시간 설명 제공을 지원하기 위해 시간적 스트림 추론을 적용한다.

실험 결과

연구 질문

• RQ1 AI 기반 사이버보안 시스템에서 효과적인 인간 의사결정을 지원하는 데 필수적인 고품질 설명의 핵심 특성은 무엇인가?
• RQ2 기존 문헌에 제시된 XAI 접근법은 위협 맥락, 긴급성, 정밀도와 같은 사이버보안 도메인의 고유한 요구사항과 얼마나 부합하는가?
• RQ3 설명 가능하고 상호작용 가능하며 신뢰할 수 있는 사이버보안 시스템에서 AI를 실현하기 위해 필요한 아키텍처 구성요소는 무엇인가?
• RQ4 상징적 및 비상징적 AI 구성요소를 어떻게 통합하여 보안 분석가가 이해할 수 있고 정확한 설명을 생성할 수 있는가?
• RQ5 인간-컴퓨터 상호작용(HCI), 자연어 처리(NLP), 논증 기법 등은 사이버보안 분야에서 AI가 생성한 설명의 사용성과 신뢰도를 어떻게 향상시킬 수 있는가?

주요 결과

• 제안된 Desiderata(D1–D6)는 맥락, 시기적절성, 사용자 요구사항을 중시하여 사이버보안 분야의 설명 가능 인공지능 개발을 평가하고 이끌기 위한 종합적인 프레임워크를 제공한다.
• 기존 XAI 접근법에 대한 비교 분석을 통해 사이버보안 환경에서의 위협 맥락, 동적 추론, 사용자 상호작용 등의 도메인 특화 과제를 충족하지 못하는 심각한 한계가 드러났다.
• 제안된 아키텍처는 상징적 추론, 논증 이론, 온톨로지, 자연어 처리(NLP), 인간-컴퓨터 상호작용(HCI) 등 다양한 AI 연구 분야를 통합하여 설명 가능하고 상호작용 가능하며 맥락 인식 가능한 출력을 생성할 수 있는 유기적인 시스템을 성공적으로 구현하였다.
• 데이터 기반 모델과 지식 기반 시스템의 통합은 모델 예측과 논리적 근거를 결합한 보강된 설명을 가능하게 하여 투명성과 신뢰도를 향상시켰다.
• 시간적 스트림 추론은 변화하는 사이버 위협에 대응하는 실시간 설명 생성을 위한 핵심 기반 기술로 규명되었다.
• 자연어 기반 질의 및 구조화된 피드백 메커니즘을 통해 사용자가 시스템 출력을 질의, 검증 및 개선할 수 있도록 하여 공동 인간-AI 상호작용을 지원한다.