[논문 리뷰] Firewall Configuration Errors Revisited

Avishai Wool|ArXiv.org|2009. 11. 06.

Network Packet Processing and Optimization참고 문헌 3인용 수 9

한 줄 요약

이 연구는 더 큰 Check Point 및 Cisco PIX 방화벽 데이터셋을 사용하여 2004년 방화벽 방화벽 설정 오류 분석을 재수행하며, 새로운 제조사에 중립적인 방화벽 복잡도 지표($\cal FC$)를 도입한다. 연구 결과, 룰셋 복잡도는 여전히 설정 오류와 강하게 상관되며, 최신 소프트웨어 버전이 오류율을 감소시키지 않는다는 점을 확인하여, 방화벽 설정에서 '작은 것이 여전히 아름답다'는 결론을 도출한다.

ABSTRACT

The first quantitative evaluation of the quality of corporate firewall configurations appeared in 2004, based on Check Point FireWall-1 rule-sets. In general that survey indicated that corporate firewalls were often enforcing poorly written rule-sets, containing many mistakes. The goal of this work is to revisit the first survey. The current study is much larger. Moreover, for the first time, the study includes configurations from two major vendors. The study also introduce a novel "Firewall Complexity" (FC) measure, that applies to both types of firewalls. The findings of the current study indeed validate the 2004 study's main observations: firewalls are (still) poorly configured, and a rule-set's complexity is (still) positively correlated with the number of detected risk items. Thus we can conclude that, for well-configured firewalls, ``small is (still) beautiful''. However, unlike the 2004 study, we see no significant indication that later software versions have fewer errors (for both vendors).

연구 동기 및 목표

• 2004년 연구에서 확인된 기업 방화벽 설정의 열악한 상태가 최신 데이터와 기술을 바탕으로 여전히 유지되고 있는지 평가하기 위해.
• 후속 방화벽 소프트웨어 버전이 설정 오류를 줄였는지 평가하기 위해.
• 다양한 제조사 간 방화벽 룰셋을 비교할 수 있는 통합된, 제조사에 중립적인 복잡도 지표($\cal FC$)를 개발하기 위해.
• 2004년 연구에서 사용된 12개의 범위를 초월하여, 제조사에 중립적인 보안 최선의 실천 위반 사항 36개를 식별하여 설정 오류 탐지 범위를 확장하기 위해.
• 방화벽 제조사 선택(체크포인트 대비 시ス코 PIX)이 복잡도와 무관하게 설정 품질에 영향을 미치는지 조사하기 위해.

제안 방법

• NDA 조건 하에 다양한 기업으로부터 2003~2005년 동안 AlgoSec 방화벽 분석기로 수집한 방화벽 룰셋을 활용하였다.
• PCI DSS, NIST, CobiT 등 기존 보안 최선의 실천 기준을 바탕으로 36개의 제조사에 중립적인 설정 오류를 정의하였다.
• 체크포인트 파이어월-1 및 시스코 PIX 룰셋 모두에 적용 가능한 새로운 통일된 복잡도 측정 기준인 $\cal FC$ 를 도입하였다.
• 두 제조사의 데이터에서 $\cal FC$ 와 탐지된 설정 오류 수 사이의 상관관계를 분석하기 위해 통계 분석을 수행하였다.
• 최소 제곱 회귀를 사용하여 각 제조사의 $\cal FC$ 를 함수로 하는 오류율을 모델링하여, 제조사 간 비교를 가능하게 하였다.
• 시간 경과에 따른 오류율 추세를 평가하기 위해 다양한 방화벽 소프트웨어 버전에서의 오류율 변화를 분석하였다.

실험 결과

연구 질문

• RQ1 최신 소프트웨어 버전이 제안하는 바와 같이, 2004년 연구 이후 기업 방화벽 설정 품질이 향상되었는가?
• RQ2 더 큰 다중 제조사 데이터셋을 바탕으로, 룰셋 복잡도와 설정 오류 간의 정적 상관관계가 여전히 유효한가?
• RQ3 복잡도와 무관하게 최신 방화벽 소프트웨어 버전이 탐지 가능한 설정 오류 수를 줄였는가?
• RQ4 방화벽 제조사 선택(체크포인트 대비 시스코 PIX)이 설정 품질에 유의미한 영향을 미치는가, 특히 복잡도를 통제할 때?
• RQ5 통합된 복잡도 지표($\cal FC$)가 다양한 방화벽 플랫폼 간 룰셋 복잡도를 효과적으로 비교하는 데 유용한가?

주요 결과

• 조사한 방화벽의 42%가 블라스터 및 사피어와 같은 인터넷 웜이 악용하는 것으로 알려진 마이크로소프트 서비스에 대한 인bound 액세스를 허용하고 있었다.
• 가장 흔한 설정 오류—256개 이상의 IP 주소에서의 외부 SMTP 허용—는 모든 조사된 방화벽의 80% 이상에서 발생하였다.
• 새로운 $\cal FC$ 지표로 측정한 룰셋 복잡도는 체크포인트 및 시스코 PIX 방화벽 모두에서 탐지된 설정 오류 수와 강하게 정적 상관관계를 보였다.
• 최신 소프트웨어 버전이 도입되었음에도 불구하고 설정 오류가 유의미하게 감소하지 않아, 버전 업그레이드만으로는 룰셋 품질 향상이 이뤄지지 않는다는 점을 확인하였다.
• CF $\cal FC$ < 1000인 시스코 PIX 방화벽은 유사한 복잡도의 체크포인트 방화벽보다 유의미하게 적은 오류를 보였지만, 이 우월성은 복잡도가 높아지면($\cal FC$ ≥ 1000) 사라졌다.
• 이 연구는 '작은 것이 여전히 아름답다'는 것을 확인한다—간단한 룰셋은 제조사나 소프트웨어 버전과 무관하게 여전히 훨씬 더 오류가 적다.