[論文レビュー] A Procedure and Guidelines for Analyzing Groups of Software Engineering Replications

Adrián Santos, Sira Vegas+2 more|arXiv (Cornell University)|Apr 11, 2020

Software Engineering Research被引用数 4

ひとこと要約

本論文は、ソフトウェア工学分野の再現研究のグループを統合するための特化した分析手順とガイドラインを提案する。主に、ランダム効果モデルを用いた集計データ（AD）と個別参加者データ（IPD-S）を併用することで、信頼性と透明性を向上させる。この手法は、特にソフトウェア工学分野で一般的な小標本・多様性の高い再現研究において、母数の検出能と統計的パワーを高める。

ABSTRACT

Context: Researchers from different groups and institutions are collaborating on building groups of experiments by means of replication (i.e., conducting groups of replications). Disparate aggregation techniques are being applied to analyze groups of replications. The application of unsuitable techniques to aggregate replication results may undermine the potential of groups of replications to provide in-depth insights from experiment results. Objectives: Provide an analysis procedure with a set of embedded guidelines to aggregate software engineering (SE) replication results. Method: We compare the characteristics of groups of replications for SE and other mature experimental disciplines such as medicine and pharmacology. In view of their differences, the limitations with regard to the joint data analysis of groups of SE replications and the guidelines provided in mature experimental disciplines to analyze groups of replications, we build an analysis procedure with a set of embedded guidelines specifically tailored to the analysis of groups of SE replications. We apply the proposed analysis procedure to a representative group of SE replications to illustrate its use. Results: All the information contained within the raw data should be leveraged during the aggregation of replication results. The analysis procedure that we propose encourages the use of stratified individual participant data and aggregated data in tandem to analyze groups of SE replications. Conclusion: The aggregation techniques used to analyze groups of replications should be justified in research articles. This will increase the reliability and transparency of joint results. The proposed guidelines should ease this endeavor.

研究の動機と目的

• ソフトウェア工学（SE）再現研究のグループに対する標準的で妥当性のある統合手法の欠如に対処すること。
• SE再現研究と医学のような成熟した実験的学問分野との間の主な相違点を特定し、それらが統合手法の適切さに与える影響を明らかにすること。
• SE再現研究グループの典型的な制限要因に適合した、段階的な分析手順と統合されたガイドラインを開発すること。
• 生データの使用と効果量の報告を推奨することで、統合された結論の信頼性と透明性を向上させること。
• 補足資料に含まれるRコード、データセット、技術的チュートリアルを通じて、再現性を支援すること。

提案手法

• 医学および薬理学分野のメタアナリシス構造をソフトウェア工学の文脈に適合させ、小標本サイズや参加者間の多様性といったSE特有の特性を考慮して調整すること。
• 集計データ（AD）と個別参加者データ（IPD-S）を併用する二重アプローチの分析を提案し、洞察力と統計的パワーを最大化すること。
• ADおよびIPD-Sの両方でランダム効果モデルを採用し、再現研究間のばらつきを考慮し、一般化可能性を向上させること。
• 線形混合モデル（LMMs）に交互作用項とメタ回帰を用いて、参加者レベルおよび実験レベルのモダレーターを同定すること。
• カテゴリカルなモダレーターに対してはサブグループ・メタアナリシスを適用し、有意水準を0.1に調整することで、探索的分析における第一種の誤りリスクを低減すること。
• 解釈可能性を高め、統計的有意性の誤解を減らすために、p値に代えて効果量と95％信頼区間を重視すること。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア工学再現研究のグループをどのように統合すれば、信頼性があり透明性の高い統合的結論を得られるか？
• RQ2 ソフトウェア工学再現研究と医学のような成熟した実験的学問分野との間で、統合手法選定に影響を与える主な相違点は何か？
• RQ3 小標本・多様性の高いサンプルを特徴とする典型的なSE再現研究グループにおいて、集計データ（AD）と個別参加者データ（IPD-S）のどちらの統合手法がより適しているか？
• RQ4 統計的モデリングを用いて、SE再現研究のグループにおいてモダレーター効果を信頼性高く同定する方法は何か？
• RQ5 ランダム効果モデルと効果量の報告が、SE再現研究における集計結果の妥当性をどのように向上させるか？

主な発見

• 集計データ（AD）と個別参加者データ（IPD-S）を併用することで、SE再現研究における統合的結論の情報量と信頼性が顕著に向上する。
• SE再現研究においては、一般的に高いばらつきと多様性が見られるため、固定効果モデルよりもランダム効果モデルが好ましい。
• IPD-Sに線形混合モデル（LMMs）を適用することで、ADに比べて参加者レベルのモダレーターの検出能が向上し、統計的柔軟性が向上する。
• 適切な有意水準を設定することで、サブグループ・メタアナリシスは実験レベルのモダレーター、メタ回帰は連続的モダレーターの同定に有効である。
• p値に依存するのではなく、効果量と95％信頼区間を報告することで、再現集約における結果の透明性と解釈可能性が向上する。
• 補足のRコード、データセット、およびチュートリアルにより、提案された分析手順の完全な再現性と実用的応用が可能になる。