[論文レビュー] Understanding the Heterogeneity of Contributors in Bug Bounty Programs

Hideaki Hata, Mingyu Guo+1 more|arXiv (Cornell University)|Sep 19, 2017

Software Engineering Research参考文献 17被引用数 6

ひとこと要約

本研究は、82のプログラムおよび2,504人の貢献者を分析することで、バグバンディットプログラムにおける貢献者の多様性を調査し、認識と双方向のコミュニケーションを重視するプロジェクト固有の貢献者、および主に報酬に動機づけられる非特化型のバグバンディットハンターの2つの異なるタイプを明らかにした。主な貢献は、プログラム設計や貢献者の維持戦略の向上に役立つ貢献者タイプの体系的分類である。

ABSTRACT

Background: While bug bounty programs are not new in software development, an increasing number of companies, as well as open source projects, rely on external parties to perform the security assessment of their software for reward. However, there is relatively little empirical knowledge about the characteristics of bug bounty program contributors. Aim: This paper aims to understand those contributors by highlighting the heterogeneity among them. Method: We analyzed the histories of 82 bug bounty programs and 2,504 distinct bug bounty contributors, and conducted a quantitative and qualitative survey. Results: We found that there are project-specific and non-specific contributors who have different motivations for contributing to the products and organizations. Conclusions: Our findings provide insights to make bug bounty programs better and for further studies of new software development roles.

研究の動機と目的

• バグバンディットプログラムにおける貢献者の多様な特性と動機を理解すること。これらは外部のセキュリティ評価にますます利用されている。
• クラウドソーシングによる脆弱性報告の依存度が高まる中で、貢献者の多様性に関する実証的知識の不足に取り組むこと。
• 明確に異なる貢献者タイプを同定し、プログラム管理およびソフトウェアセキュリティエコシステムの持続可能性に与える影響を明らかにすること。
• プログラムマネージャーが熟練した貢献者を維持し、インcentive構造を改善するための実行可能なイン sight を提供すること。

提案手法

• 82の公開済みバグバンディットプログラムの貢献履歴を収集・分析し、2,504人の個別貢献者に焦点を当てた。
• 貢献パターンの定量的分析と、7人の貢献者からの定性的なアンケート反応を組み合わせた混合手法を採用した。
• 個々の貢献者履歴の正確な追跡を確保するため、複数のプログラム間での貢献者識別子を手動で統合した。
• 貢献パターンと動機に基づき、貢献者を2種類のタイプに分類した：プロジェクト固有型と非特化型。
• 貢献者の動機、プラットフォーム利用状況、ベンダーからの期待についてを深く理解するため、3人の貢献者に対してフォローアップの定性的インタビューを実施した。
• テーマ分析を用いてアンケートおよびインタビューのデータを分析し、動機、コミュニケーションの好み、第三者プラットフォームの認識を特定した。

実験結果

リサーチクエスチョン

• RQ1 バグバンディットプログラムに存在する貢献者タイプは何か？ また、その貢献パターンはどのように異なるか？
• RQ2 プロジェクト固有の貢献者と非特化型バグバンディットハンターの動機はそれぞれ何か？
• RQ3 貢献者は、ベンダーからのコミュニケーションと認識が継続的な参加にどのように影響すると考えるか？
• RQ4 HackerOne や Bugcrowd などのプラットフォーム利用が、貢献者の行動や動機にどのような影響を及えるか？

主な発見

• 2つの明確に異なる貢献者タイプが存在する：特定のソフトウェアプロジェクトに集中するプロジェクト固有型貢献者と、複数のプログラムに参加する非特化型貢献者。
• プロジェクト固有の貢献者は、報酬以上の認識とベンダーとの双方向のコミュニケーションによって動機づけられる。
• 非特化型貢献者は、主に HackerOne のようなプラットフォームに依存しており、外的インcentiveと報奨金額によって動機づけられる。
• プロジェクト固有の貢献者は、しばしば第三者プラットフォームを避ける。これは、脆弱性の漏洩の潜在的リスクや「グレイマーケット」としての認識によるものである。
• 多くの貢献者が、ベンダーからの情報フロー（フィードバックや修正のストーリーなど）が、報酬そのものよりも価値があると報告している。
• プラットフォームの普及にもかかわらず、一部の貢献者は直接ベンダーに報告することを好む。これは、直接のコミュニケーションチャネルの重要性を示している。