[論文レビュー] GPT-2C: A GPT-2 parser for Cowrie honeypot logs

Febrian Setianto, Erion Tsani+4 more|arXiv (Cornell University)|Sep 14, 2021

Software System Performance and Reliability参考文献 17被引用数 5

ひとこと要約

本論文では、Cowrie SSHハニーポットから動的で非構造的なログを解析するため、ログ解析を質問応答タスクとして扱うことで、微調整されたGPT-2言語モデルGPT-2Cを提示する。このシステムは、妥当な推論遅延を伴いながら、出側テストデータで89%のF1スコアを達成し、SIEMおよびEDR統合に向けた自動的でドメイン適応型のログ抽出を可能にする。

ABSTRACT

Deception technologies like honeypots produce comprehensive log reports, but often lack interoperability with EDR and SIEM technologies. A key bottleneck is that existing information transformation plugins perform well on static logs (e.g. geolocation), but face limitations when it comes to parsing dynamic log topics (e.g. user-generated content). In this paper, we present a run-time system (GPT-2C) that leverages large pre-trained models (GPT-2) to parse dynamic logs generate by a Cowrie SSH honeypot. Our fine-tuned model achieves 89\% inference accuracy in the new domain and demonstrates acceptable execution latency.

研究の動機と目的

• 動的で非構造的なログコンテンツのため、ハニーポットログとSIEM/EDRツール間の相互運用性の欠如に対処すること。
• 静的テンプレートやラベル付き学習データに依存せずに、Cowrieログ内の攻撃者生成コマンドやユーティリティの解析を自動化すること。
• 大規模事前学習言語モデルをサイバーセキュリティ分野のドメイン固有のログ解析に用いる可能性を評価すること。
• ルールベースまたはテンプレートベースのパーサーに代わって、AI駆動で適応可能なシステムに置き換えることで、ログ変換にかかる人的作業を削減すること。

提案手法

• 2019年5月から2020年2月までのCowrieログをJSON形式で含むCyberLabハニーネットデータセットを用いて、GPT-2モデルを微調整した。
• ログ解析をスパンベースの質問応答タスクに再定式化し、モデルが攻撃者ログ行からユーティリティやコマンドを予測するようにした。
• JSONペイロードを受け取り、リアルタイム推論を実行し、信頼度スコアを含む予測結果を返すFastAPIベースの推論サーバーをデプロイした。
• ログインジェストョンにLogstash、インデキシングにElasticsearch、可視化と監視にKibanaを用いたパイプラインにシステムを統合した。
• 起動時に一度だけ事前学習済みGPT-2モデルをメモリに読み込むことで、到着した攻撃者コマンドに対する低遅延推論を実現した。
• 訓練中のモデルの収束性と一般化性能を検証するために、二重学習曲線分析を用いた。

実験結果

リサーチクエスチョン

• RQ1 微調整されたGPT-2モデルは、高い正確性で動的で非構造的なCowrieハニーポットログを効果的に解析できるか？
• RQ2 GPT-2ベースのパーサーは、従来のテンプレートベースまたはルールベースのログ解析手法と比較して、正確性および適応性の面で優れているか？
• RQ3 本番環境に近いリアルタイム環境において、デプロイされたモデルの推論遅延はどの程度か？
• RQ4 豊富な再トレーニングやラベル付きデータを必要とせずに、モデルは出側ログデータに一般化できるか？

主な発見

• GPT-2Cモデルは、出側テストセットでF1スコア89.827%を達成し、動的ログコンテンツの解析において優れたパフォーマンスを示した。
• 訓練損失と検証損失の曲線は良好な適合を示しており、損失値が0.07から0.10の範囲に収まっており、安定した収束が確認された。
• 推論遅延は妥当であり、100回に1回の割合で応答時間の99パーセンタイルが最大4秒に達したが、大多数の応答は1秒未満であった。
• システムは攻撃者用ツールやコマンドの抽出と分類に成功し、トップ予測結果はKibanaダッシュボードに可視化された。
• FastAPIを用いたデプロイアーキテクチャにより、並列推論が可能になり、ログ処理とモデル推論が分離されたため、システムのスケーラビリティと保守性が向上した。