[論文レビュー] A Critical View on CIS Controls

Stjepan Groš|arXiv (Cornell University)|Oct 3, 2019

Information and Cyber Security被引用数 4

ひとこと要約

この論文は、CISコントロールフレームワークを批判的に評価し、その有効性に関する未検証の主張や科学的吟味の欠如に挑戦している。CISとSANSによる影響力のあるマーケティングのおかげで広く採用されているものの、実証的裏付けがなく、検証不能なデータに依存し、関係者間の根深い利益相反を抱える。論文は、詳細な事例研究と実装の公開を通じて、独立した科学的評価を求める。これにより、現実のセキュリティ文脈における信頼性と有効性が向上すると主張する。

ABSTRACT

CIS Controls is a set of 20 controls and 171 sub-controls that were created with an idea of having a list of something to implement so that organizations can increase their security. While good in theory, it is a big question of how viable this approach is in practice, and does it really help. There is only a minor number of critical views of CIS Controls and since CIS Controls are marketed by two very influential organizations they are very popular. Yet, there are alternatives published by ISO, NIST and even PCI consortium. In this paper we critically assess CIS Controls, assumptions on which they are based as well as validity of approach and claims made in its favor. The conclusion is that scientific community should be more active regarding this topic, but also that more material is necessary. This is something that CIS and SANS should support if they want to make CIS Controls viable alternative to other approaches.

研究の動機と目的

• CISコントロールの妥当性と科学的厳密性を批判的に評価し、学術的吟味がほとんどないにもかかわらず広く採用されていることへの挑戦。
• CISとSANSがフレームワークのサイバーリスク低減効果に関して行っている未検証の主張を調査すること。
• CIS、SANS、ベンダー、ユーザーなどの関係者が、CISコントロールの客観的評価を妨げる構造的インcentiveを同定すること。
• 他のフレームワークと比較して、CISコントロールの現実世界への影響と有効性を検証するための独立した科学的研究を呼びかけること。
• 再現可能で証拠に基づいた評価を可能にするために、実装詳細と詳細な事例研究への公開を提唱すること。

提案手法

• CISコントロールの文書、マーケティング資料、およびCISとSANSが発表した主張を批判的にレビューすること。
• フレームワークの根拠となる仮定、特に標準化されたコントロールリストが普遍的にリスクを低減できるという仮定を分析すること。
• NIST、ISO 27001、PCI-DSSなどの他の確立されたフレームワークと比較し、リスクベース選定と規定的実装の両者の構造的差異、特にその点を強調すること。
• 88％のリスク低減や「顕著な整合性」などの主要な主張の信頼性を、検証可能なデータや手法の欠如によって評価すること。
• SANSの講座の収益、ベンダーの販売、機関の評判といった、批判を避けるインcentiveを同定すること。
• 実装状況、コントロール選定プロセス、成果測定を含む、透明性とピアレビューを重視した詳細な事例研究に基づく研究アジェンダを提言すること。

実験結果

リサーチクエスチョン

• RQ1 CISとSANSが主張するリスク低減（例：88％の脆弱性ベースリスク低減）は、どの程度実証的裏付けやデータによって裏付けられているか？
• RQ2 CISコントロールが広く採用され、大きな影響を持つにもかかわらず、なぜ批判的な科学的吟味が著しく欠如しているのか？
• RQ3 CIS、SANS、ベンダー、ユーザーといった主要関係者のインcentiveは、フレームワークの現実世界での有効性に対する客観的評価をどのように損なっているのか？
• RQ4 CISコントロール実装成果の信頼性ある、再現可能な評価を生み出すために、どのような研究手法とデータ収集手法が必要か？
• RQ5 科学界は、NIST や ISO 27001 などの他のセキュリティフレームワークと比較して、CISコントロールの有効性をどのように検証に貢献できるか？

主な発見

• 米国務省が85,000台のシステムで88％の脆弱性ベースリスク低減を達成したという主張は、検証可能なデータ、手法、または公的文書が存在しない。
• CISコントロールと実際のサイバー攻撃との間で「顕著な整合性」があるという主張は、検証可能な定義や検証プロセスが提示されていないため、根拠がない。
• CISコントロールは、一括りのソリューションとしてマーケティングされているが、特に小規模企業を含むさまざまな組織規模へのスケーラビリティと適用可能性は疑わしく、特にデータ漏洩防止（DLP）のようなコントロールに関して顕著である。
• CIS、SANS、ソリューションベンダー、ユーザーといった関係者は、フレームワークを批判するのを避け、財務的または評判的インcentiveを持っているため、独立した検証を妨げるシステム的障壁を形成している。
• フレームワークがリスクアセスメントを要件としない規定的アプローチを採用しているのに対し、文脈に応じたリスクベース選定を重視する、確立されたセキュリティガバナンス原則に反する。
• 実装状況、コントロール選定プロセス、成果評価を含む詳細で公開可能な事例研究が著しく不足しており、科学的裏付けの評価や比較分析が困難になっている。