[논문 리뷰] A Bug Bounty Perspective on the Disclosure of Web Vulnerabilities

Jukka Ruohonen, Luca Allodi|arXiv (Cornell University)|2018. 05. 24.

Advanced Malware Detection Techniques참고 문헌 66인용 수 11

한 줄 요약

이 논문은 2015년에서 2017년 사이에 한쪽 방향의 Open Bug Bounty (OBB) 플랫폼에서의 취약성 공개를 분석하며, 약 16만 건의 웹 취약성 데이터셋을 활용한다. OBB는 금전적 인centив 없이도 취약성을 신속하게 확산시키는 데 성공했지만, 일부 고도로 생산적인 해커들이 대부분의 제출을 차지하고 있으며, 평가 속도가 빠르더라도 패치 시간은 여전히 길다. 이는 자동화 도구에 의한 생산성 격차와 공급자 간 학습의 국한으로 인한 지식 격차를 드러낸다.

ABSTRACT

Bug bounties have become increasingly popular in recent years. This paper discusses bug bounties by framing these theoretically against so-called platform economy. Empirically the interest is on the disclosure of web vulnerabilities through the Open Bug Bounty (OBB) platform between 2015 and late 2017. According to the empirical results based on a dataset covering nearly 160 thousand web vulnerabilities, (i) OBB has been successful as a community-based platform for the dissemination of web vulnerabilities. The platform has also attracted many productive hackers, (ii) but there exists a large productivity gap, which likely relates to (iii) a knowledge gap and the use of automated tools for web vulnerability discovery. While the platform (iv) has been exceptionally fast to evaluate new vulnerability submissions, (v) the patching times of the web vulnerabilities disseminated have been long. With these empirical results and the accompanying theoretical discussion, the paper contributes to the small but rapidly growing amount of research on bug bounties. In addition, the paper makes a practical contribution by discussing the business models behind bug bounties from the viewpoints of platforms, ecosystems, and vulnerability markets.

연구 동기 및 목표

• 단일 측면의 Open Bug Bounty (OBB) 플랫폼에서 금전적 보상 없이도 취약성 공개가 어떻게 이루어지는지 분석한다.
• 자동화 도구와 지식 격차가 해커의 생산성과 취약성의 질을 어떻게 형성하는지 조사한다.
• 공개된 취약성의 패치까지 소요되는 시간을 평가하고 복구 속도에 影響을 미치는 요인을 규명한다.
• HackerOne나 ZDI와 같은 이중 측면 모델과 대비하여 커뮤니티 기반 버그 배지 플랫폼의 비즈니스 모델 지속 가능성 평가한다.
• 플랫폼 설계, 특히 개방형 데이터와 조율 메커니즘의 영향이 공개 효율성과 보안 결과에 어떻게 작용하는지 탐구한다.

제안 방법

• 2015년에서 2017년 말까지 Open Bug Bounty (OBB) 플랫폼 경유로 공개된 약 16만 건의 웹 취약성 데이터셋 분석.
• 영향을 받은 공급자들에 대한 제출 패턴, 해커의 생산성, 패치 일정에 대한 실증적 분석.
• 단일 측면 버그 배지 생태계의 구조적 역학을 설명하기 위해 네트워크 효과 및 플랫폼 경제 이론의 적용.
• 특히 XSS 및 CSRF 취약성 발견에 있어 자동화 도구의 역할 조사.
• OBB와 공급자 간의 조율 및 소통 격차 분석, 예를 들어 security.txt와 같은 표준의 사용 여부.
• 패치 지연의 정량적·정성적 평가 및 해커의 명성과 기술적 요인 간 영향 분석.

실험 결과

연구 질문

• RQ1 단일 측면의 OBB 플랫폼은 금전적 인센티브 없이 웹 취약성을 얼마나 효과적으로 확산시키는가?
• RQ2 OBB 플랫폼에서 해커 간의 큰 생산성 격차는 무엇에 기인하는가?
• RQ3 자동화 도구와 지식 격차가 공개된 취약성의 질과 유형에 얼마나 영향을 미치는가?
• RQ4 OBB에서 제출물 평가가 빠른 데도 불구하고 패치 시간이 왜 여전히 길게 유지되는가?
• RQ5 플랫폼 설계와 비즈니스 모델은 장기적인 보안 결과와 공급자의 대응성에 어떻게 영향을 미치는가?

주요 결과

• OBB 플랫폼은 2015년에서 2017년 사이에 약 16만 건의 웹 취약성을 성공적으로 공개하여 커뮤니티 기반 공개 메커니즘으로서의 효과를 입증했다.
• 매우 높은 생산성을 보이는 소수의 해커들이 대부분의 제출을 차지하고 있어 참가자 간에 심각한 생산성 격차가 존재함을 시사한다.
• 신규 제출물의 평가가 종종 수시간 내로 이루어지지만, 공개된 취약성의 패치 시간은 여전히 길며 평균적으로 수주에서 수개월에 이르렀다.
• 자동화 도구를 통한 취약성 발견은 심지어 일반적인 취약성인 XSS 및 CSRF에 대해서도 지식 격차를 야기할 수 있으며, 이는 저품질 또는 중복 보고서를 초래할 수 있다.
• 웹사이트의 인기, 유지보수 노력, 이전 공개 이력과는 상관없이 패치 시점은 주로 취약성을 보고한 해커의 명성에 의해 영향을 받는다.
• 협업 및 소통 표준(예: security.txt의 광범위한 도입)이 부족하여 효과적인 공개가 저해되며, 잘못된 경고 및 중복 보고의 위험이 증가한다.