[논문 리뷰] Ask Me Anything: A Conversational Interface to Augment Information Security Workers

Bobby Filar, Richard J. Seymour외 1명|arXiv (Cornell University)|2017. 07. 18.

Persona Design and Applications참고 문헌 7인용 수 3

한 줄 요약

이 논문은 보안 분석가—특히 초보자나 경험이 적은 사용자—가 자연어를 사용하여 위협 데이터를 질의하고 분석할 수 있도록 하는 EDR 도구용 대화형 AI 인터페이스인 Artemis를 소개한다. 자연어 처리(NLP)를 활용해 다양한 사용자 용어를 표준 검색어로 매핑하고, 진단 및 위협 탐색 워크플로우를 안내함으로써 복잡한 쿼리 언어에 대한 의존도를 줄이며 접근성을 향상시켜 최종적으로 인지 부담을 감소시키고 위협 대응 속도를 높인다.

ABSTRACT

Security products often create more problems than they solve, drowning users in alerts without providing the context required to remediate threats. This challenge is compounded by a lack of experienced personnel and security tools with complex interfaces. These interfaces require users to become domain experts or rely on repetitive, time consuming tasks to turn this data deluge into actionable intelligence. In this paper we present Artemis, a conversational interface to endpoint detection and response (EDR) event data. Artemis leverages dialog to drive the automation of complex tasks and reduce the need to learn a structured query language. Designed to empower inexperienced and junior security workers to better understand their security environment, Artemis provides an intuitive platform to ask questions of alert data as users are guided through triage and hunt workflows. In this paper, we will discuss our user-centric design methodology, feedback from user interviews, and the design requirements generated upon completion of our study. We will also present core functionality, findings from scenario-based testing, and future research for the Artemis platform.

연구 동기 및 목표

• 경험이 부족한 정보보안 전문가의 수요 증가 문제를 해결하기 위해 EDR 도구에 더 접근하기 쉬운 인터페이스를 만드는 것.
• 보안 운영 센터(SOCs)에서 데이터 폭발로 인한 경고 과부하 및 인지 과부하를 줄이는 것.
• 복잡한 쿼리 언어를 자연어 상호작용으로 대체함으로써 경험이 적은 분석가의 진입 장벽을 낮추는 것.
• 위협 진단 및 탐색 워크플로우를 안내하는 적응형이고 맥락 인식 대화 기반 기능을 통해 초보자 및 숙련자 사용자 모두를 지원하는 것.
• 실제 분석가 워크플로우를 반영하고 피드백을 플랫폼의 핵심 기능에 통합하는 사용자 중심 설계 접근법을 개발하는 것.

제안 방법

• 다양한 보안 팀(레드/블루팀 및 전통적 SOCs 포함)에서 사용자 인터뷰와 관찰 연구를 수행하여 워크플로우와 애로점을 이해하는 것.
• 세 단계로 나누어진 사용자 중심 설계 방법론을 적용: 탐색, 개념화, 프로토타이핑/사용자 테스트.
• 자연어 입력을 표준 검색어로 매핑하기 위해 NLP 기법과 엔터티 분류를 활용한 대화형 인터페이스를 구현하는 것.
• 대화 상태와 의도를 유지함으로써 대화 상태 전환 시 분석 흐름을 유지하고 사용자 경험을 방해하지 않는 것.
• 다양한 사용자 용어(예: 'box', 'machine', 'endpoint')를 수용하고 공통된 표준 어휘로 매핑하기 위해 강건성 원칙(Postel의 법칙)을 적용하는 것.
• 미래의 채팅 플랫폼(예: Slack, Cortana)과의 통합을 가능하게 하기 위해 API를 노출하고, 지속적인 모델 개선을 위한 활성 학습 기반 기능을 지원하는 것.

실험 결과

연구 질문

• RQ1 대화형 인터페이스는 경험 부족한 보안 분석가가 EDR 데이터 분석을 수행할 때 인지적 부담과 기술적 부담을 어떻게 줄일 수 있는가?
• RQ2 어떤 설계 패턴과 NLP 전략이 복잡한 보안 데이터 작업에 효과적으로 자연어 질의를 매핑할 수 있는가?
• RQ3 대화 기반 시스템은 어떻게 진단 및 위협 탐색 워크플로우에서 초보자 사용자와 숙련자 모두를 지원할 수 있는가?
• RQ4 보안 운영 환경에서 조사 공유와 팀 일치 유지에 가장 효과적인 협업 메커니즘은 무엇인가?
• RQ5 피드백 메커니즘은 보안 분야 특화 맥락에서 자연어 이해의 정확성과 적응성을 어떻게 향상시킬 수 있는가?

주요 결과

• 대화형 인터페이스는 사용자가 복잡한 쿼리 언어를 학습할 필요성을 크게 줄여주어 EDR 데이터에 더 빠르고 직관적으로 접근할 수 있도록 했다.
• 사용자들은 다양한 용어(예: 'box', 'machine', 'endpoint')를 사용해 표현했고, 시스템은 이러한 용어를 표준 집합으로 성공적으로 매핑하여 사용성 향상을 이뤘다.
• 대화 상태 전환 동안에도 분석 흐름을 유지하여 사용자의 위협 조사 과정에 대한 방해를 최소화했다.
• 사용자들은 협업 기능, 특히 팀원을 @하여 조사를 공유하고 알림을 받는 기능에 강한 관심을 보였다.
• 플랫폼의 API를 통해 외부 채팅 시스템과의 통합이 가능해져 향후 채팅 기반 보안 워크플로우의 기반을 마련했다.
• 활성 학습 피드백 메커니즘(예: 좋아요/싫어요 또는 성능 평가)이 장기적으로 NLP 모델 정확도 향상에 유의미한 방법으로 기여할 수 있음을 확인했다.