[論文レビュー] How do information security workers use host data? A summary of interviews with security analysts

Robert A. Bridges, Michael D. Iannacone+2 more|arXiv (Cornell University)|Dec 7, 2018

Network Security and Intrusion Detection参考文献 17被引用数 12

ひとこと要約

本研究は、5つの組織に所属する13名のセキュリティオペレーションセンター（SOC）アナリストを対象に、半構造化インタビューを実施し、ホストベースのデータの使用方法を調査した。その結果、高頻度のアラート、信号対雑音比の悪さ、異種のデータソースを手動で相関させる必要性が、アナリストの生産性を著しく制限していることが明らかになった。これにより、データ量を削減しながら情報量を増やし、アナリストのフィードバックに基づく自動チューニングが可能な、より知能的で適応的なツールの開発が急務であることが強調された。

ABSTRACT

Modern security operations centers (SOCs) employ a variety of tools for intrusion detection, prevention, and widespread log aggregation and analysis. While research efforts are quickly proposing novel algorithms and technologies for cyber security, access to actual security personnel, their data, and their problems are necessarily limited by security concerns and time constraints. To help bridge the gap between researchers and security centers, this paper reports results of semi-structured interviews of 13 professionals from five different SOCs including at least one large academic, research, and government organization. The interviews focused on the current practices and future desires of SOC operators about host-based data collection capabilities, what is learned from the data, what tools are used, and how tools are evaluated. Questions and the responses are organized and reported by topic. Then broader themes are discussed. Forest-level takeaways from the interviews center on problems stemming from size of data, correlation of heterogeneous but related data sources, signal-to-noise ratio of data, and analysts' time.

研究の動機と目的

• ホストベースのデータを用いた侵入検知およびインcidnet応答における、セキュリティアナリストの現在の実務、直面する課題、望ましい機能を理解すること。
• 現在のセキュリティツールと、SOCオペレータの現実のニーズとの間のギャップ、特にデータ量、相関、ツール評価の観点から同定すること。
• 現実のセキュリティ運用と学術的リサーチの溝を埋めるために、前線のアナリストから得た実証的知見に基づいたツール開発を推進すること。
• データ削減の向上、視覚化の強化、フィードバックを活用したチューニングによって、アナリストの作業負荷を軽減する将来のセキュリティ技術の設計を支援すること。
• ネットワーク可視性が制限されるクラウド環境や暗号化された環境において、ホスト中心のセキュリティに移行する将来的なトレンドを検討すること。

提案手法

• 学術機関、研究機関、政府機関に所属する5つの多様な組織の13名のセキュリティアナリストを対象に、半構造化インタビューを実施した。
• データ収集の実務、使用ツール、評価基準、ホストベースのセキュリティ監視に望ましい機能について焦点を当てた。
• トピック（例：データ種別、ツール、アラート対応）ごとに応答をテーマ別に整理し、より包括的な運用上の知見に統合した。
• 質的分析を用いて、アラート疲れ、データ相関の複雑さ、ツール評価の困難さといった繰り返し現れる課題を同定した。
• アナリストがフィードバックを提供できるアラート有効性の評価機能、脅威ハンティングに役立つ動的データ可視化機能を含む、望ましいツール機能のフィードバックを収集した。
• 既存の文献と照らし合わせることで、現在の運用実態と将来の研究方向性を文脈づけて整理した。

実験結果

リサーチクエスチョン

• RQ1 SOCアナリストは、現実の運用において、ホストベースのセキュリティデータをどのように収集・使用・評価しているか。
• RQ2 異種のデータソースを相関させ、多数のアラートを管理するにあたり、アナリストが直面する主な課題は何か。
• RQ3 将来的なセキュリティツールに求められる望ましい機能、特に手作業による作業を軽減し、信号対雑音比を向上させることに関して、アナリストがどのように希望を表明しているか。
• RQ4 アナリストは現在、セキュリティツールをどのように評価・選定しており、どのような指標を重視しているか。
• RQ5 暗号化、クラウド移行、ホストベースの監視といった新たなトレンドは、将来のツール設計およびデータ処理にどのような影響を与えるか。

主な発見

• アナリストは、低品質または偽陽性である可能性の高い多数のアラートに圧倒され、的確な対応が著しく困難になっている。
• 特にホストログとネットワークログといった異種のデータソースを相関させるには、膨大な手作業が必要であり、時間の大きな消費要因となっている。
• アラートの正確性に自信が持てないことが多く、自動化ツールに対する懐疑的姿勢を示し、手動による調査に依存する傾向にある。
• アラートの有効性に関するフィードバックを提供できるツールへの強い要望があり、これにより自動チューニングが可能になり、現地のドメイン知識が組み込まれるようになる。
• ビジュアライゼーションやダッシュボードツールは、監視の目的だけでなく、戦略的意思決定（例：ツールの調達、過去データを用いた脅威ハンティング）にも広く使われている。
• 暗号化ネットワークやクラウドベースのインfraの普及により、ホストベースの監視がますます中心的役割を果たすようになると予想され、データ量を削減しながら情報量を最大化するツールの開発が不可欠である。