[論文レビュー] Intelligence-based Cybersecurity Awareness Training- an Exploratory Project

Tam N. Nguyen, Lydia Sbityakov+1 more|arXiv (Cornell University)|Dec 11, 2018

Information and Cyber Security参考文献 16被引用数 5

ひとこと要約

本論文では、サイバー脅威インテリジェンスと人的反応データを統合して、迅速かつ脅威駆動型の訓練を提供する、知能に基づくサイバーセキュリティ意識向上訓練モデルであるInCATを紹介する。IBM Watson Knowledge Studioを活用してドメイン特化型オントロジーを構築し、100件の脅威レポートと127件の評価をアノテートすることで、66%のエンティティカバレッジと75%の正確性を達成し、リスク管理およびインシデント管理に役立つ行動可能なインテリジェンスを可能にした。

ABSTRACT

Cybersecurity training should be adaptable to evolving the cyber threat landscape, cost effective and integrated well with other enterprise management components. Unfortunately, very few cybersecurity training platforms can satisfy such requirements. This paper proposes a new and novel model for conducting cybersecurity training with three main objectives: (i) training should be initiated by emerging relevant threats and delivered first to the most vulnerable members (ii) the process has to be agile (iii) training results must be able to provide actionable intelligence. For the first time, this paper establishes a type system (ontology and associated relationships) that links the domain of cybersecurity awareness training with that of cyber threat intelligence. Powered by IBM Watson Knowledge Studio platform, the proposed method was found to be practical and scalable. Main contributions such as exports of the type system, the manually annotated corpus of 100 threat reports and 127 cybersecurity assessment results, the dictionaries for pre-annotation, etc were made publicly available.

研究の動機と目的

• 企業のリスク管理および脅威管理システムと統合可能な、適応的かつ脅威対応型のサイバーセキュリティ意識向上訓練のギャップを埋める。
• 従来のコンプライアンス駆動型または知識中心の訓練の限界を克服し、現実の人的行動と進化する脅威を模倣できない点を改善する。
• スケーラブルでオントロジー駆動のフレームワークを構築し、サイバーセキュリティ意識向上訓練をサイバー脅威インテリジェンスと接続して、組織のレジリエンスを向上させる。
• 今後の研究やカスタマイズを支援するため、アノテート済みコーパス、タイプシステム、事前アノテーション辞書などの公開リソースを整備する。
• 技術的脅威分析と人的脆弱性検出の間のフィードバックループを確立し、訓練の成果から行動可能なインテリジェンスを生成する。

提案手法

• IBM Watson Knowledge Studioを用いて、サイバーセキュリティ意識向上訓練、脅威インテリジェンス、システムログを結びつけるドメイン特化型タイプシステム（オントロジー）を構築する。
• 100件のサイバーセキュリティ脅威レポートと127件のサイバーセキュリティ評価結果を手動でアノテートし、ゴールドスタンダードの訓練コーパスを構築する。
• コーパス全体にわたるエンティティおよび関係のラベリングの効率性と一貫性を向上させるために、事前アノテーション辞書を開発する。
• IBM Watsonの自然言語処理パイプラインを活用し、攻撃・防御のテーマに焦点を当てて、非構造化テキストからエンティティ、関係、共参照を抽出する。
• 二重の分析視点を採用する：『技術的視点』（脅威インテリジェンス駆動のテーマ）と『人的視点』（ユーザーの反応分析）を用い、組織の脆弱性を特定する。
• 機械学習モデルにルールベースの論理（例：Prolog）を統合することで、訓練データを超える推論の正確性を向上させ、依存度を低下させる。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムの脅威インテリジェンスと統合することで、どのようにしてサイバーセキュリティ意識向上訓練を進化する脅威に適応可能にすることができるか？
• RQ2 共有タイプシステム（オントロジー）が、サイバーセキュリティ意識向上訓練データ、サイバー脅威インテリジェンス、システムログを効果的に結びつけることができるか、その程度はいかほどか？
• RQ3 IBM Watsonを用いた機械学習ベースのアノテーションパイプラインが、サイバーセキュリティレポートおよび評価から行動可能なエンティティと関係を抽出する性能はどの程度か？
• RQ4 訓練の成果をどのようにして企業のリスク管理および脅威管理システムに役立つ行動可能なインテリジェンスに変換できるか？
• RQ5 現在のオントロジー設計には、サイバーセキュリティ文脈における自然言語の曖昧さや希少エンティティの出現に対処する限界があるか？

主な発見

• 提案されたInCATモデルは、サイバーセキュリティ意識向上訓練とサイバー脅威インテリジェンスを結びつけるタイプシステムを確立し、ドメイン間データ統合の基盤となるオントロジーを形成した。
• 100件の脅威レポートと127件の評価結果から構成される手動アノテートコーパスは、今後の研究やモデル訓練に役立つ高品質で公開可能なデータセットを提供する。
• IBM Watsonを用いたエンティティ認識において、66%のエンティティマークアップカバレッジと75%の正確性を達成し、実世界への展開における実用的スケーラビリティを示した。
• エンティティの言及に関するアノテーター間一貫性は、重み付きF1スコア0.61に達し、曖昧さや希少エンティティの課題にもかかわらず、中程度から高い一貫性を示した。
• 剛性のある階層的オントロジーには主な限界が存在し、より柔軟で文法に配慮したモデルが性能向上とアノテーションの衝突削減に寄与すると示唆された。
• 機械学習モデルにルールベースの論理（例：Prolog）を統合することが推奨され、推論能力の向上と大規模なアノテートデータセットへの依存度低減が可能となる。