[論文レビュー] Ask Me Anything: A Conversational Interface to Augment Information Security Workers

Bobby Filar, Richard J. Seymour+1 more|arXiv (Cornell University)|Jul 18, 2017

Persona Design and Applications参考文献 7被引用数 3

ひとこと要約

本論文では、エンドポイント検出・応答（EDR）ツール向けの会話型AIインターフェース「Artemis」を紹介する。このシステムにより、特に初心者や経験の浅いセキュリティアナリストが自然言語を用いて脅威データを照会・分析できるようになる。自然言語処理（NLP）を活用し、多様なユーザーの用語を標準語の検索キーワードにマッピングするとともに、トリアージや脅威ハンティングのワークフローを支援することで、複雑なクエリ言語への依存を軽減し、アクセシビリティを向上させる。その結果、認知的負荷が低下し、脅威対応が迅速化される。

ABSTRACT

Security products often create more problems than they solve, drowning users in alerts without providing the context required to remediate threats. This challenge is compounded by a lack of experienced personnel and security tools with complex interfaces. These interfaces require users to become domain experts or rely on repetitive, time consuming tasks to turn this data deluge into actionable intelligence. In this paper we present Artemis, a conversational interface to endpoint detection and response (EDR) event data. Artemis leverages dialog to drive the automation of complex tasks and reduce the need to learn a structured query language. Designed to empower inexperienced and junior security workers to better understand their security environment, Artemis provides an intuitive platform to ask questions of alert data as users are guided through triage and hunt workflows. In this paper, we will discuss our user-centric design methodology, feedback from user interviews, and the design requirements generated upon completion of our study. We will also present core functionality, findings from scenario-based testing, and future research for the Artemis platform.

研究の動機と目的

• 熟練した情報セキュリティ専門職の不足が深刻化する中、EDRツールのインターフェースをよりアクセスしやすくすること。
• セキュリティオペレーションセンター（SOC）におけるデータの洪水によって引き起こされるアラートの過剰と認知的負荷を軽減すること。
• 複雑なクエリ言語に代わって自然言語による対話によって、経験の浅いアナリストの参入障壁を低減すること。
• 状況に応じて適応し、文脈に即した対話によって、トリアージおよび脅威ハンティングのワークフローを、初心者および熟練者双方が効果的に行えるようにすること。
• 現実のアナリストのワークフローを捉え込み、フィードバックをプラットフォームのコア機能に統合するユーザ中心の設計アプローチを構築すること。

提案手法

• 赤チーム・青チームおよび従来のSOCを含む多様なセキュリティチームを対象に、インタビュー調査と観察研究を実施し、ワークフローと課題を理解すること。
• 3段階のユーザ中心設計プロセス（発見段階、コンセプト段階、プロトタイピング／ユーザーテスト段階）を採用すること。
• 自然言語入力をNLP技術とエンティティ分類を用いて標準語の検索キーワードにマッピングする会話型インターフェースを実装すること。
• 会話の状態と意図を保持することで、文脈の切り替えに対応し、分析の流れを維持するようにシステムを設計すること。
• 多様なユーザー用語（例：「box」、「machine」、「endpoint」）を受容し、共通の標準語語彙にマッピングするため、ロバストネスの原則（ポステルの法則）を適用すること。
• 将来的なSlackやCortanaなどのチャットプラットフォームとの統合を可能にするAPIを公開し、継続的なモデル改善を図るためのアクティブラーニングをサポートすること。

実験結果

リサーチクエスチョン

• RQ1 会話型インターフェースは、経験の浅いセキュリティアナリストがEDRデータ分析を行うにあたり、認知的・技術的負荷をどのように軽減できるか？
• RQ2 自然言語クエリが、複雑なセキュリティデータ操作に効果的にマッピングできるような、設計パターンとNLP戦略は何か？
• RQ3 対話ベースのシステムは、トリアージおよび脅威ハンティングのワークフローにおいて、初心者と熟練者双方をどのように支援できるか？
• RQ4 セキュリティオペレーションにおいて、調査の共有とチームの整合性を保つために最も効果的な協働メカニズムは何か？
• RQ5 フィードバックメカニズムは、セキュリティ固有の文脈において自然言語理解の正確性と適応性をどのように向上させられるか？

主な発見

• 会話型インターフェースにより、ユーザーが複雑なクエリ言語を学ぶ必要が著しく減少し、EDRデータへの迅速かつ直感的なアクセスが可能になった。
• ユーザーは多様な用語（例：「box」、「machine」、「endpoint」）を用いて表現でき、システムはこれらを標準語セットに成功してマッピングし、ユーザビリティが向上した。
• 文脈の切り替え時でも、分析の流れが維持され、ユーザーの脅威調査プロセスへの干渉が最小限に抑えられた。
• ユーザーは協働機能に強い関心を示し、特に「@チームメイト」で調査を共有し、通知を受け取れる機能を望んでいた。
• プラットフォームのAPIにより、外部チャットシステムとの統合が可能となり、将来的なチャットベースのセキュリティワークフローの実現に道筋がつけた。
• アクティブラーニングのフィードバックメカニズム（例：いいね／悪いね、パフォーマンス評価）が、NLPモデルの精度を時間経過とともに向上させる有効な手段であると判明した。