[논문 리뷰] Security Certification in Payment Card Industry: Testbeds, Measurements, and Recommendations

Sazzadur Rahaman, Gang Wang외 2명|arXiv (Cornell University)|2020. 02. 07.

Web Application Security Vulnerabilities참고 문헌 34인용 수 23

한 줄 요약

이 논문은 PCI 데이터 보안 표준(DSS)의 실제 적용 상황을 평가하기 위해 6개의 PCI 승인 스캐너와 1,203개의 실시간 웹사이트를 평가하기 위해 사용자 정의가 가능한 이커머스 테스트베드인 BuggyCart를 개발한다. 연구 결과, 심각한 격차가 드러났다: 실세계 이커머스 사이트의 86%가 최소한 하나의 인증 취소 기준이 되는 PCI DSS 위반 사항을 가지고 있으며, 모든 6개의 스캐너가 주요 취약점을 탐지하지 못했고, 5개는 스캐닝 지침을 준수하지 못했다.

ABSTRACT

The massive payment card industry (PCI) involves various entities such as merchants, issuer banks, acquirer banks, and card brands. Ensuring security for all entities that process payment card information is a challenging task. The PCI Security Standards Council requires all entities to be compliant with the PCI Data Security Standard (DSS), which specifies a series of security requirements. However, little is known regarding how well PCI DSS is enforced in practice. In this paper, we take a measurement approach to systematically evaluate the PCI DSS certification process for e-commerce websites. We develop an e-commerce web application testbed, BuggyCart, which can flexibly add or remove 35 PCI DSS related vulnerabilities. Then we use the testbed to examine the capability and limitations of PCI scanners and the rigor of the certification process. We find that there is an alarming gap between the security standard and its real-world enforcement. None of the 6 PCI scanners we tested are fully compliant with the PCI scanning guidelines, issuing certificates to merchants that still have major vulnerabilities. To further examine the compliance status of real-world e-commerce websites, we build a new lightweight scanning tool named PciCheckerLite and scan 1,203 e-commerce websites across various business sectors. The results confirm that 86% of the websites have at least one PCI DSS violation that should have disqualified them as non-compliant. Our in-depth accuracy analysis also shows that PciCheckerLite's output is more precise than w3af. We reached out to the PCI Security Council to share our research results to improve the enforcement in practice.

연구 동기 및 목표

• 이커머스 웹사이트에 대한 PCI DSS 준수 자격 인증의 실제 효과성을 조사하기 위해.
• PCI 승인 스캐닝 공급업체(ASV)가 보안 취약점을 탐지하는 정확성과 엄격함을 평가하기 위해.
• 경량 스캐닝 도구를 사용하여 실시간 이커머스 웹사이트에서 PCI DSS 위반의 빈도를 측정하기 위해.
• PCI DSS 사양과 실제 현장에서의 시행 간 격차를 규명하기 위해.
• PCI 보안 표준 위원회가 자격 인증 절차를 개선할 수 있도록 실증적 증거와 권고안을 제공하기 위해.

제안 방법

• 35개의 PCI DSS 관련 취약점(예: 잘못된 설정, 인젝션 결함, 안전하지 않은 데이터 처리 포함)을 내장한 구성이 가능한 이커머스 테스트베드인 BuggyCart를 개발하여, 실수로 발생할 수 있는 위험 요소를 구현하였다.
• BuggyCart를 사용하여 6개의 PCI 승인 스캐닝 공급업체의 탐지 정확도와 ASV 스캐닝 지침 준수 여부를 평가하였다.
• 생산 환경 제약 조건 하에서 실시간 이커머스 웹사이트를 평가하기 위한 경량이며 비침습적인 스캐너인 PciCheckerLite를 구축하였다.
• 다양한 사업 부문에 속한 1,203개의 실세계 이커머스 웹사이트를 대상으로 대규모 측정을 수행하여 준수 상태를 평가하였다.
• PciCheckerLite와 w3af 간의 비교 분석을 수행하여 스캐닝 정밀도를 검증하였다.
• 발견된 결과를 PCI 보안 위원회에 공유하여 자격 인증 관행 개선에 기여하였다.

실험 결과

연구 질문

• RQ1 제어된 테스트 환경에서 PCI 승인 스캐너들이 중요한 PCI DSS 취약점을 얼마나 잘 탐지하는가?
• RQ2 실세계 이커머스 웹사이트가 실제로 PCI DSS 요구사항을 얼마나 준수하는가?
• RQ3 경량이며 비침습적인 스캐닝 도구는 실시간 프로덕션 웹사이트 평가에 얼마나 정확하고 신뢰할 수 있는가?
• RQ4 왜 PCI DSS 준수로 자격을 획득한 조직들에서도 여전히 주요 데이터 유출 사고가 발생하는가?
• RQ5 현재 PCI DSS 자격 인증 절차에 내재된 체계적 결함는 무엇이며, 이를 통해 준수하지 못하는 시스템이 자격을 획득하게 되는가?

주요 결과

• 1,203개의 실세계 이커머스 웹사이트 중 86%는 자격 인증을 취소할 수 있는 최소한 하나의 PCI DSS 위반 사항을 가지고 있다.
• 시험된 6개의 PCI 승인 스캐너 중 어느 것도 ASV 스캐닝 지침을 완전히 준수하지 못했으며, 5개는 주요 취약점을 놓친 상태에서도 자격을 부여했다.
• 모든 6개의 스캐너가 심각한 취약점(예: SQL 인젝션, XSS, CSRF)을 테스트베드에 명시적으로 삽입된 상태에서도 탐지하지 못했다.
• PciCheckerLite는 실제 PCI DSS 위반 사항을 식별하는 데 w3af보다 더 높은 정밀도를 보였으며, 이는 대규모 측정에 있어 신뢰성 있음을 확인하였다.
• 연구는 심각한 시행 격차를 드러냈다: PCI DSS 준수 자격 인증이 보안을 보장하지는 않으며, 스캐너들이 심각한 잘못된 설정을 가진 시스템을 빈번히 자격 부여하고 있다.
• PCI 보안 위원회는 연구 결과를 인정하였으며, 생산 환경에서의 비침습적 스캐닝의 과제를 확인하였다.