[논문 리뷰] A Critical View on CIS Controls

Stjepan Groš|arXiv (Cornell University)|2019. 10. 03.

Information and Cyber Security인용 수 4

한 줄 요약

이 논문은 CIS Controls 프레임워크를 비판적으로 평가하며, 그 효과성에 대한 검증되지 않은 주장과 과학적 검토의 부재를 도드라지게 한다. CIS와 SANS의 영향력 있는 마케팅 덕분에 널리 채택되었음에도 불구하고, 이 프레임워크는 경험적 검증이 부족하고, 검증할 수 없는 데이터에 의존하며, 이해관계자들 사이에 내재된 이해관계 충돌을 겪고 있다. 논문은 실세계 보안 환경에서 신뢰성과 효과성을 높이기 위해 구체적 사례 연구와 구현 자료의 개방을 통한 독립적이고 과학적인 평가를 촉구한다.

ABSTRACT

CIS Controls is a set of 20 controls and 171 sub-controls that were created with an idea of having a list of something to implement so that organizations can increase their security. While good in theory, it is a big question of how viable this approach is in practice, and does it really help. There is only a minor number of critical views of CIS Controls and since CIS Controls are marketed by two very influential organizations they are very popular. Yet, there are alternatives published by ISO, NIST and even PCI consortium. In this paper we critically assess CIS Controls, assumptions on which they are based as well as validity of approach and claims made in its favor. The conclusion is that scientific community should be more active regarding this topic, but also that more material is necessary. This is something that CIS and SANS should support if they want to make CIS Controls viable alternative to other approaches.

연구 동기 및 목표

• CIS Controls의 타당성과 과학적 엄밀함을 비판적으로 평가하여, 학술적 검토가 극히 미흡한 상황임에도 불구하고 널리 채택된 이유를 도전한다.
• CIS와 SANS가 제시하는 프레임워크의 사이버 리스크 감소 효과에 대한 검증되지 않은 주장들을 조사한다.
• CIS, SANS, 벤더, 사용자와 같은 이해관계자들이 프레임워크의 객관적 평가를 방해하는 체계적 인centives를 특정한다.
• 기타 프레임워크와의 비교를 통해 CIS Controls의 실제 영향력과 효과성을 검증하기 위한 독립적이고 과학적인 연구를 촉구한다.
• 재현 가능하고 증거 기반의 평가를 가능하게 하기 위해 실행 세부 사항과 구체적 사례 연구에 대한 개방을 주장한다.

제안 방법

• CIS Controls 문서, 마케팅 자료, 그리고 CIS와 SANS가 제기한 관련 주장을 비판적으로 검토한다.
• 표준화된 통제 목록이 보편적으로 리스크를 감소시킬 수 있다는 가정을 분석한다.
• NIST, ISO 27001, PCI-DSS 등 다른 확립된 프레임워크와 비교하여, 특히 위험 기반 선택 대비 정의된 구현 방식의 구조적 차이를 확인한다.
• 88%의 리스크 감소나 공격과의 '놀라운 일치'와 같은 핵심 주장을 평가하며, 검증 가능한 데이터나 방법론의 부재를 분석한다.
• SANS 교육 과정의 재정적 이해관계, 벤더 판매, 기관의 명성 등으로 인해 비판을 피하는 이해관계자들의 인센티브를 특정한다.
• 실행 배경, 통제 선택 과정, 결과 측정이 포함된 투명하고 동료 검토를 거친 사례 연구를 기반으로 한 연구 계획을 제안한다.

실험 결과

연구 질문

• RQ1 CIS와 SANS에서 제시하는 위험 감소 주장(예: 88%의 취약성 기반 리스크 감소)이 경험적으로 검증 가능하거나 데이터로 뒷받침되는가?
• RQ2 CIS Controls가 널리 채택되고 영향력이 있음에도 불구하고, 왜 체계적인 과학적 검토가 부족한가?
• RQ3 CIS, SANS, 벤더, 사용자와 같은 주요 이해관계자의 인센티브는 프레임워크의 실제 효과성에 대한 객관적 평가를 어떻게 저해하는가?
• RQ4 CIS Controls 구현 결과에 대한 신뢰할 수 있고 재현 가능한 평가를 위해 필요한 구체적 연구 방법과 데이터 수집 절차는 무엇인가?
• RQ5 과학 공동체는 NIST나 ISO 27001 같은 다른 보안 프레임워크와 비교해 CIS Controls의 효과성을 검증하는 데 어떻게 기여할 수 있는가?

주요 결과

• 미국 외교부에서 85,000개 시스템을 대상으로 88%의 리스크 감소를 주장한 바는 검증 가능한 데이터, 방법론, 또는 공개 문서가 없어 부족하다.
• CIS Controls가 실제 사이버 공격과 '놀라운 일치'를 이룬다는 주장은 측정 가능한 정의나 검증 절차가 없어 근거가 없다.
• CIS Controls는 일괄적인 솔루션으로 마케팅되지만, 특히 소규모 기업을 중심으로 적용 범위와 확장성에 의문이 제기되며, 데이터 유출 방지(DLP)와 같은 통제 조치의 적용이 의심스럽다.
• CIS, SANS, 솔루션 벤더, 사용자 등 이해관계자들은 프레임워크에 대한 비판을 피할 재정적 또는 명성적 인센티브를 가지고 있어, 독립적 검증을 방해하는 체계적 장벽을 형성한다.
• 위험 평가 없이 고정된 통제 목록을 제시하는 프레임워크의 정의된 성격은, 맥락 기반 위험 기반 선택을 강조하는 보안 거버넌스 원칙과 배치된다.
• 실행 배경, 통제 선택 과정, 결과 평가가 포함된 상세한 공개 사례 연구가 극도로 부족하여 과학적 검증과 비교 분석이 어렵다.