[論文レビュー] A Hitchhiker's Guide to Search-Based Software Engineering for Software Product Lines

Roberto E. Lopez-Herrejon, Javier Ferrer+4 more|arXiv (Cornell University)|Jun 11, 2014

Advanced Software Engineering Methodologies参考文献 63被引用数 12

ひとこと要約

本論文は、ソフトウェア製品線（SPLs）における探索ベースソフトウェア工学（SBSE）の応用を体系的マッピングスタディとして提示し、主な段階、技術、評価手法を特定している。遺伝的アルゴリズムがドメインエンジニアリングのテストに広く用いられていること、多目的最適化への関心が高まっていること、多目的SBSEにおける統計的評価のギャップや落とし穴が浮き彫りにされ、研究者および実務家向けの実用的ガイドラインが提示されている。

ABSTRACT

Search Based Software Engineering (SBSE) is an emerging discipline that focuses on the application of search-based optimization techniques to software engineering problems. The capacity of SBSE techniques to tackle problems involving large search spaces make their application attractive for Software Product Lines (SPLs). In recent years, several publications have appeared that apply SBSE techniques to SPL problems. In this paper, we present the results of a systematic mapping study of such publications. We identified the stages of the SPL life cycle where SBSE techniques have been used, what case studies have been employed and how they have been analysed. This mapping study revealed potential venues for further research as well as common misunderstanding and pitfalls when applying SBSE techniques that we address by providing a guideline for researchers and practitioners interested in exploiting these techniques.

研究の動機と目的

• SPLライフサイクルの各段階におけるSBSE応用の範囲と分布を評価すること。
• SPL研究で最も頻繁に使用されているSBSE技術を特定し、新たな動向を検出すること。
• SPL用の実験的SBSE研究における統計的分析の適切さを評価すること。
• SBSE用の事例研究をリスト化し、コミュニティ基準ベンチマークの確立可能性を評価すること。
• 多目的SBSEに共通する落とし穴を特定し、研究者および実務家向けの実用的ガイドラインを提供すること。

提案手法

• Petersenらの標準的手順に従った体系的マッピングスタディを実施した。
• SPLとSBSEの検索用語を定義し、遺伝的アルゴリズム、多目的最適化、局所探索技術を含めた。
• 専門的リポジトリ（SBSEリポジトリ、遺伝的プログラミング・バイオグラフィー）および一般データベース（IEEE Xplore、ACM、ScienceDirect、SpringerLink、Google Scholar）で照会を実施した。
• 142件の一次研究を対象に、含む・除外する基準を適用し、SBSE技術の使用状況、評価手法、事例研究の内容を分析した。
• 到達表面を用いて多目的最適化結果のばらつきを評価し、アルゴリズムの性能をスカラー指標を超えた非スカラー的評価を可能にした。
• 統計的評価の欠落や多目的SBSEにおける一般的な落とし穴に対処するガイドラインを提示した。特に収束性と多様性の分析における課題に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 SBSE技術はSPLライフサイクルのどの段階で使用されたか？
• RQ2 SPL研究で使用されたSBSE技術は何か？また、支配的または新たな動向があるか？
• RQ3 SPL用SBSE研究で使用される比較的分析は何か？その適切さはいかがか？
• RQ4 使用された評価事例は何か？その出どころと標準化の可能性は？
• RQ5 SPLにSBSE技術を適用する際の一般的な落とし穴は何か？特に多目的最適化においては？

主な発見

• SBSE技術は、特に組み合わせ的相互作用テストなどのテストタスクに焦点を当てて、ドメインエンジニアリング段階で最も頻繁に使用された。
• 遺伝的アルゴリズムが最も一般的に使用されるSBSE技術であり、多目的最適化アプローチへの傾向が高まっている。
• 多くの研究で統計的分析が不十分であり、特に多目的SBSEにおいては収束性と多様性の評価が適切に行われていないケースが多い。
• SBSE用の標準化された事例研究が不足しているが、いくつかの共通して使用される事例が特定されたことから、コミュニティ全体でのベンチマーク確立の可能性が示された。
• ドメイン実装、アプリケーション設計、アプリケーションレベルのテストにはSBSEの応用が見つからず、未開拓の研究機会が示唆された。
• 多目的SBSEにおける結果のばらつきを分析するため、到達表面の使用を推奨する。これはスカラー指標を超えた洞察を提供する。