[논문 리뷰] GPT-2C: A GPT-2 parser for Cowrie honeypot logs

Febrian Setianto, Erion Tsani외 4명|arXiv (Cornell University)|2021. 09. 14.

Software System Performance and Reliability참고 문헌 17인용 수 5

한 줄 요약

이 논문은 GPT-2C를 제시하며, 이는 동적이고 비정형적인 로그를 Cowrie SSH 허니팟에서 파싱하기 위해 로그 파싱을 질문-답변 작업으로 간주하는 최적화된 GPT-2 언어 모델이다. 시스템은 검증 데이터에 대해 89%의 F1 스코어를 기록하며 수용 가능한 추론 지연 시간을 제공하여 SIEM 및 EDR 통합을 위한 자동화된 도메인 적응형 로그 추출을 가능하게 한다.

ABSTRACT

Deception technologies like honeypots produce comprehensive log reports, but often lack interoperability with EDR and SIEM technologies. A key bottleneck is that existing information transformation plugins perform well on static logs (e.g. geolocation), but face limitations when it comes to parsing dynamic log topics (e.g. user-generated content). In this paper, we present a run-time system (GPT-2C) that leverages large pre-trained models (GPT-2) to parse dynamic logs generate by a Cowrie SSH honeypot. Our fine-tuned model achieves 89\% inference accuracy in the new domain and demonstrates acceptable execution latency.

연구 동기 및 목표

• 동적이고 비정형적인 로그 내용으로 인해 허니팟 로그와 SIEM/EDR 도구 간의 상호운용성 부족 문제를 해결하기 위해.
• 정적 템플릿이나 레이블이 부여된 학습 데이터에 의존하지 않고도 공격자에 의해 생성된 명령어와 유틸리티를 자동으로 파싱하기 위해.
• 대규모 사전 훈련된 언어 모델을 사이버보안 분야의 도메인 특화 로그 파싱에 사용할 수 있는지의 가능성을 평가하기 위해.
• 규칙 기반 또는 템플릿 기반 파서를 인공지능 기반의 유연한 시스템으로 대체함으로써 로그 변환에 필요한 수동 작업을 줄이기 위해.

제안 방법

• 2019년 5월부터 2020년 2월까지의 JSON 형식의 Cowrie 로그를 포함한 CyberLab 허니넷 데이터셋을 기반으로 GPT-2 모델을 미세조정하였다.
• 로그 파싱을 스파닝 기반 질문-답변 작업으로 재구성하여, 모델이 공격자 로그 라인에서 유틸리티나 명령어를 예측하도록 하였다.
• JSON 페이로드를 수신하고 실시간 추론을 수행하며 신뢰도 점수를 반환하는 FastAPI 기반 추론 서버를 통해 모델을 배포하였다.
• 로그 수신을 위해 Logstash를, 인덱싱을 위해 Elasticsearch를, 시각화 및 모니터링을 위해 Kibana를 사용하는 파이프라인에 시스템을 통합하였다.
• 시작 시 한 번만 사전 훈련된 GPT-2 모델을 메모리에 로드하여 들어오는 공격자 명령어에 대해 낮은 지연 시간의 추론을 가능하게 하였다.
• 훈련 중 모델 수렴 및 일반화 능력을 검증하기 위해 이중 학습 곡선 분석을 사용하였다.

실험 결과

연구 질문

• RQ1 미세조정된 GPT-2 모델은 높은 정확도로 동적이고 비정형적인 로그 내용을 Cowrie 허니팟에서 효과적으로 파싱할 수 있는가?
• RQ2 전통적인 템플릿 기반 또는 규칙 기반 로그 파싱 방법과 비교할 때 GPT-2 기반 파서의 정확도 및 적응 가능성은 어떠한가?
• RQ3 실시간, 생산 환경 유사 조건에서 배포된 모델의 추론 지연 시간은 얼마인가?
• RQ4 광범위한 재훈련이나 레이블이 부여된 데이터 없이도 모델은 샘플 외 로그 데이터에 일반화할 수 있는가?

주요 결과

• GPT-2C 모델은 샘플 외 테스트 세트에서 F1 스코어 89.827%를 기록하여 동적 로그 내용 파싱에서 뛰어난 성능을 보였다.
• 훈련 손실 및 검증 손실 곡선은 양호한 피팅을 보였으며, 손실 값은 0.07에서 0.10 사이를 유지하여 안정적인 수렴을 나타냈다.
• 추론 지연 시간은 수용 가능했으며, 100번 중 1회는 반응 시간이 최대 4초까지 도달했지만 대부분의 응답은 1초 이내였다.
• 시스템은 공격자 도구와 명령어를 성공적으로 추출하고 분류하였으며, 상위 예측 결과는 Kibana 대시보드에 시각화되었다.
• FastAPI를 사용한 배포 아키텍처는 동시 추론을 가능하게 하였고 로그 처리와 모델 추론을 분리함으로써 시스템의 확장성과 유지보수성을 향상시켰다.