[論文レビュー] A Bug Bounty Perspective on the Disclosure of Web Vulnerabilities

Jukka Ruohonen, Luca Allodi|arXiv (Cornell University)|May 24, 2018

Advanced Malware Detection Techniques参考文献 66被引用数 11

ひとこと要約

本論文は、2015年から2017年までの間、160,000件近いWeb脆弱性のデータセットを用いて、報酬なしの片側型プラットフォームであるOpen Bug Bounty（OBB）における脆弱性開示の分析を行っている。OBBは脆弱性の迅速な拡散を達成しているが、少数の生産性の高いハッカーが多数の提出を占めており、評価は速いもののパッチ適用までの時間が長く、自動化ツールの影響とベンダー間での学習の限界によって引き起こされる生産性と知識の格差が明らかになった。

ABSTRACT

Bug bounties have become increasingly popular in recent years. This paper discusses bug bounties by framing these theoretically against so-called platform economy. Empirically the interest is on the disclosure of web vulnerabilities through the Open Bug Bounty (OBB) platform between 2015 and late 2017. According to the empirical results based on a dataset covering nearly 160 thousand web vulnerabilities, (i) OBB has been successful as a community-based platform for the dissemination of web vulnerabilities. The platform has also attracted many productive hackers, (ii) but there exists a large productivity gap, which likely relates to (iii) a knowledge gap and the use of automated tools for web vulnerability discovery. While the platform (iv) has been exceptionally fast to evaluate new vulnerability submissions, (v) the patching times of the web vulnerabilities disseminated have been long. With these empirical results and the accompanying theoretical discussion, the paper contributes to the small but rapidly growing amount of research on bug bounties. In addition, the paper makes a practical contribution by discussing the business models behind bug bounties from the viewpoints of platforms, ecosystems, and vulnerability markets.

研究の動機と目的

• 報酬なしの片側型Open Bug Bounty（OBB）プラットフォームにおける脆弱性開示のダイナミクスを検討すること。
• 自動化ツールと知識格差がハッカーの生産性と脆弱性の質に与える影響を調査すること。
• 開示された脆弱性のパッチ適用までの時間を評価し、修復速度に影響する要因を同定すること。
• HackerOne や ZDI のような両側型モデルと比較して、コミュニティ主導のバグボーナスプラットフォームのビジネスモデルの持続可能性を評価すること。
• プラットフォーム設計、特にオープンデータと調整メカニズムが、開示の効率性とセキュリティ成果に与える影響を検討すること。

提案手法

• 2015年から2017年末までにOpen Bug Bounty（OBB）プラットフォームを通じて開示された、ほぼ160,000件のWeb脆弱性のデータセットの分析。
• 関係するベンダーにおける提出パターン、ハッカーの生産性、パッチ適用までのタイムラインの実証的分析。
• 片側型バグボーナスエコシステムの構造的ダイナミクスを理解するために、ネットワーク効果とプラットフォーム経済理論の活用。
• 特にXSSやCSRF脆弱性の発見において、自動化ツールの役割の検証。
• OBBとベンダー間の調整・通信のギャップ、特にsecurity.txtなどの標準の使用状況の調査。
• パッチ適用遅延の定性的および定量的評価、およびハッカーの評判と技術的要因の影響の分析。

実験結果

リサーチクエスチョン

• RQ1 報酬なしの片側型OBBプラットフォームは、Web脆弱性の拡散においてどの程度効果的か？
• RQ2 OBBプラットフォームにおけるハッカー間の著しい生産性格差を生じさせる要因は何か？
• RQ3 自動化ツールと知識格差が、開示される脆弱性の質や種別にどの程度影響を及ぼすか？
• RQ4 OBBでの提出評価が速いにもかかわらず、なぜパッチ適用までの時間が長く続くのか？
• RQ5 プラットフォーム設計とビジネスモデルは、長期的なセキュリティ成果とベンダーの対応性にどのように影響するか？

主な発見

• OBBプラットフォームは2015年から2017年の間に、ほぼ160,000件のWeb脆弱性を効果的に開示し、コミュニティ主導の開示メカニズムとしての有効性を示した。
• 少数の生産性の高いハッカーが多数の提出を占めており、参加者間での著しい生産性格差が明らかになった。
• 新規提出の評価がしばしば数時間以内で行われるにもかかわらず、開示された脆弱性のパッチ適用までの時間は長く、平均して数週間から数か月にわたった。
• 自動化ツールによる脆弱性発見は、XSS や CSRF といった一般的な脆弱性に対しても知識格差を生じさせ、低品質または重複するレポートを生じさせる要因となっている可能性がある。
• パッチ適用タイミングは、サイトの人気、保守作業の負荷、過去の開示履歴とは顕著に関係がなかったが、脆弱性を報告したハッカーの評判に強く依存していた。
• 協調や通信の標準（例：security.txtの広範な採用）が整っていないことが、効果的な開示を妨げ、誤検出や重複レポートのリスクを高めている。