[論文レビュー] Replicating and Scaling up Qualitative Analysis using Crowdsourcing: A Github-based Case Study

Di Chen, Kathryn T. Stolee+1 more|arXiv (Cornell University)|Feb 27, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 39被引用数 7

ひとこと要約

本論文は、GitHubのプルリクエスト承認に関する定性的研究を再現・拡張するためにクラウドソーシングを活用するスケーラブルな二次的分析フレームワーク（MOSSS）を提案する。20件のプルリクエストからの定性的知見をクラウドワーカーが処理可能な質問に変換することで、250件のプルリクエストを分析。クラウドソーシングで得られた特徴量を用いた場合、マージ結果予測の中央F₁スコアは68％を達成。定量的特徴量と組み合わせると90％まで向上し、実証的ソフトウェア工学研究における手法統合の価値を示している。

ABSTRACT

Due to the difficulties in replicating and scaling up qualitative studies, such studies are rarely verified. Accordingly, in this paper, we leverage the advantages of crowdsourcing (low costs, fast speed, scalable workforce) to replicate and scale-up one state-of-the-art qualitative study. That qualitative study explored 20 GitHub pull requests to learn factors that influence the fate of pull requests with respect to approval and merging. As a secondary study, using crowdsourcing at a cost of $200, we studied 250 pull requests from 142 GitHub projects. The prior qualitative findings are mapped into questions for crowds workers. Their answers were converted into binary features to build a predictor which predicts whether code would be merged with median F1 scores of 68%. For the same large group of pull requests, the median F1 scores could achieve 90% by a predictor built with additional features defined by prior quantitative results. Based on this case study, we conclude that there is much benefit in combining different kinds of research methods. While qualitative insights are very useful for finding novel insights, they can be hard to scale or replicate. That said, they can guide and define the goals of scalable secondary studies that use (e.g.) crowdsourcing+data mining. On the other hand, while data mining methods are reproducible and scalable to large data sets, their results may be spectacularly wrong since they lack contextual information. That said, they can be used to test the stability and external validity, of the insights gained from a qualitative analysis.

研究の動機と目的

• 定性的ソフトウェア工学研究における再現性とスケーラビリティの欠如に対処すること。
• より大規模なクラウドソーシングデータセットを用いて、過去の定性的な発見の外部妥当性を評価すること。
• 定性的知見が、クラウドソーシングおよびデータマイニングを活用したスケーラブルな二次的分析をどのように導くか・可能にするかを示すこと。
• 定性的分析から得た特徴量と定量的文献から得た特徴量の予測性能を比較すること。
• 実証的ソフトウェア工学研究における手法統合――定性的知見とスケーラブルな定量的検証の統合――を提唱すること。

提案手法

• TDH研究（2014年）の定性的知見を、クラウドワーカーが評価可能な129のマイクロ質問に変換した。
• Amazon Mechanical Turkを用いて250件のGitHubプルリクエストでクラウドソーシングを実施。品質管理のため、元の20件のプルリクエストからのゴールドスタンダード回答を用いた。
• 支持、代替解決策、問題に対する反対意見などの定性的要因を表すバイナリ特徴量を、クラウドの回答から収集した。
• データマイニング技術を適用し、クラウドソーシングで得た特徴量、文献由来の特徴量、ハイブリッド特徴量を用いて、プルリクエストのマージ結果を予測するモデルを構築した。
• 異なる特徴量セットのモデル性能を比較するため、F₁スコアを主評価指標として用いた。
• 同じマイクロ質問を用いて、より大きなサンプルで元の定性的知見の整合性をテストすることで、その安定性を検証した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: クラウドソーシングを用いて、GitHubのプルリクエスト承認に関するコスト効率の良い独立的再現が可能か？
• RQ2 RQ2: より大きなデータセットでテストした場合、元の定性的知見の外部妥当性はどの程度か？
• RQ3 RQ3: 定性的知見から得た特徴量と、過去の定量的研究から得た特徴量のどちらが、プルリクエストのマージ結果をよりよく予測するか？
• RQ4 RQ4: 定性的知見と定量的データマイニングを組み合わせることで、予測精度はどのように向上するか？
• RQ5 RQ5: クラウドソーシングは、定性的ソフトウェア工学の知見を検証するためのエキスパート判断の代替としてスケーラブルに機能するか？

主な発見

• クラウドソーシングによる再現は、元の定性的研究から得た特徴量を用いて、プルリクエストのマージ結果予測において中央F₁スコア68％を達成した。
• 過去の定量的研究から得た特徴量と組み合わせると、予測性能は顕著に向上し、中央F₁スコアは90％まで上昇した。
• 元のTDH研究における4つの定性的要因（支持、代替解決策、問題に対する反対意見）のうち3つが、より大きなサンプルでも安定した外部妥当性を示した。
• 提案された解決策に対する反対意見に関連する要因は、大規模データセットでは不安定であり、一貫した予測性を示さなかった。
• 本研究は、定性的知見が、スケーラブルな二次的分析を導く上で不可欠であることを確認した。定性的知見が、クラウドソーシングのための重要な質問と特徴量を定義するからである。
• 結果は、定性的知見がスケーラブルな定量的検証を支援するように活用される手法統合が、単独のアプローチよりもより強固で正確なモデルを生み出すことを示している。