[논문 리뷰] The Panacea Threat Intelligence and Active Defense Platform

Adam Dalton, Ehsan Aghaei외 14명|arXiv (Cornell University)|2020. 04. 20.

Topic Modeling참고 문헌 31인용 수 5

한 줄 요약

Panacea는 자연어 처리(NLP) 기반의 능동 방어 플랫폼으로, 대화형 봇을 통해 공격자와 상호작용하여 신원 정보를 추출하고 시간을 낭비시키면서 사회공학 공격을 탐지하고 대응한다. 친구/적 분류 정확도가 90%에 달하며, 평균 5턴에 걸쳐 인간과 유사한 대화를 유지하여 독립 평가에서 인간다움 점수 1.9/3을 기록한다.

ABSTRACT

We describe Panacea, a system that supports natural language processing (NLP) components for active defenses against social engineering attacks. We deploy a pipeline of human language technology, including Ask and Framing Detection, Named Entity Recognition, Dialogue Engineering, and Stylometry. Panacea processes modern message formats through a plug-in architecture to accommodate innovative approaches for message analysis, knowledge representation and dialogue generation. The novelty of the Panacea system is that uses NLP for cyber defense and engages the attacker using bots to elicit evidence to attribute to the attacker and to waste the attacker's time and resources.

연구 동기 및 목표

• NLP 기반 대화형 봇을 활용해 적대자와 상호작용함으로써 사회공학 공격에 대응하는 능동 방어 시스템을 개발한다.
• 전략적 대화를 통해 공격자로부터 특정 증거(예: 신원, 위치, 금융 정보 등)를 추출한다.
• 메시지 분석 및 대화 생성 분야의 NLP 구성 요소를 활용해 임의 경고를 줄이고 정확도를 향상시킨다.
• 사이버 방어 환경에서 F3EAD 위협 지능 사이클(Find, Fix, Finish, Exploit, Analyze, Disseminate)을 운영 가능하게 한다.
• 다양한 통신 형식과 위협 시나리오에 대응하기 위해 플러그인 기반으로 확장 가능한 아키텍처를 제공한다.

제안 방법

• 시스템은 NLP 구성 요소의 파이프라인을 활용한다: 질문 및 프레임링 탐지, 명명된 실체 인식, 대화 엔지니어링, 스타일로미터.
• 핵심 로직을 변경하지 않고도 새로운 NLP 기법을 통합할 수 있도록 플러그인 아키텍처를 도입하여 현대적 메시지 형식을 처리한다.
• 공격자의 동기를 기반(예: 금융 정보, 개인 정보 등)으로 반응 생성을 이끄는 계층적 공격 온톨로지 및 온톨로지 기반의 구조를 활용한다.
• 질문/프레임링 분석 및 동기 탐지 결과를 바탕으로 대화 상태 관리자가 시간 낭비 또는 정보 수집 전략을 선택한다.
• F3EAD 단계, 특히 Find, Finish, Exploit 단계와 일치하는 템플릿 기반 접근 방식을 통해 메시지를 생성한다.
• 추출된 지능 정보를 지속적으로 분석하고 공격 간의 다중 맥락 상관관계를 분석하기 위해 지식 그래프를 활용한다.

실험 결과

연구 질문

• RQ1 어떻게 NLP를 활용해 사회공학 공격자와 능동적으로 상호작용하고 특정 증거를 확보할 수 있는가?
• RQ2 높은 탐지 정확도를 유지하면서도 대화형 봇이 얼마나 인간다운 대화를 지속할 수 있는가?
• RQ3 플러그인 기반 NLP 파이프라인은 실시간 메시지 분석과 적응형 응답 생성을 효과적으로 지원할 수 있는가?
• RQ4 F3EAD 위협 지능 사이클 통합이 사회공학 공격에 대한 능동 방어를 어떻게 향상시키는가?
• RQ5 NLP 기반 능동 방어의 성능은 임의 경고를 줄이고 공격자 신원 특정 능력을 향상시키는 데 얼마나 기여하는가?

주요 결과

• 메시지 분석 모듈은 헤더 및 내용 분석을 통해 메시지를 친구, 적, 또는 알 수 없음으로 분류하는 데 약 90%의 정확도를 달성했다.
• 대화 모듈은 공격자와 평균 5턴에 걸쳐 대화를 유지하여 지속적인 상호작용 능력을 입증했다.
• 독립 평가자들은 봇의 인간다움을 3점 만점에 1.9점으로 평가했으며, DARPA ASED 프로그램 평가에서 모든 경쟁 시스템 중 가장 높은 점수를 기록했다.
• 경계 상태 메시지(알 수 없는 경우)를 성공적으로 식별하고 추가 정보 요청을 유도함으로써 탐지 깊이를 향상시켰다.
• 플러그인 아키텍처 덕분에 핵심 시스템 변경 없이도 NLP 구성 요소를 모듈식으로 통합할 수 있었으며, 확장성과 실제 적용 가능성 향상에 기여했다.
• 플랫폼은 공격자의 동기를 효과적으로 식별하고 F3EAD 위협 지능 사이클과 일치하는 맥락 기반 응답 생성 능력을 입증했다.