[論文レビュー] Search-Based Software Engineering for Self-Adaptive Systems: Survey, Disappointments, Suggestions and Opportunities

Tao Chen, Miqing Li+2 more|arXiv (Cornell University)|Jan 22, 2020

Software Engineering Research被引用数 4

ひとこと要約

本論文は、自己適応型システム（SASs）における探索ベースソフトウェア工学（SBSE）の、初めての包括的サーベイを提示する。2009年から2019年までの74件の一次研究を分析した。研究では、不適切なアルゴリズム選択、限られた多目的定式化、疑わしい評価手法、アルゴリズムの特化不足、弱い一般化性の5つの主要な失望要因を特定。これらの課題を踏まえ、分野の前進に寄与する8つの未開拓の研究機会を提案する。

ABSTRACT

Search-Based Software Engineering (SBSE) is a promising paradigm that exploits the computational search to optimize different processes when engineering complex software systems. Self-adaptive system (SAS) is one category of such complex systems that permits to optimize different functional and non-functional objectives/criteria under changing environments (e.g., requirements and workload), which involves problems that are subject to search. In this regard, over years, there has been a considerable amount of work that investigates SBSE for SASs. In this paper, we provide the first systematic and comprehensive survey exclusively on SBSE for SASs, covering papers in 27 venues from 7 repositories, which eventually leads to several key statistics from the most notable 74 primary studies in this particular field of research. Our results, surprisingly, have revealed five disappointments that are of utmost importance and can result in serve consequences but have been overwhelmingly ignored in existing studies. We provide theoretical and/or experimental evidence to justify our arguments against the disappointments, present suggestions, and highlight the promising research opportunities towards their mitigation. We also elaborate on three other emergent, but currently under-explored opportunities for future work on SBSE for SASs. By mitigating the disappointments revealed in this work, together with the highlighted opportunities, we hope to be able to excite a much more significant growth in this particular research direction.

研究の動機と目的

• SBSEにおける自己適応型システム（SASs）の体系的概要の欠如が、分野の成長を妨えてきたという問題に対処する。
• 現在のSBSE研究における自己適応型システム（SASs）の繰り返し発生する方法論的欠陥（「失望」として分類）を特定し、分析する。
• SBSEにおける自己適応型システム（SASs）の研究の妥当性と厳密性を高めるための、根拠に基づく提言を提供する。
• SBSEにおける自己適応型システム（SASs）分野の前進に大きく寄与する可能性を秘めた、未開拓の研究機会を浮き彫りにする。
• SBSEとSASコミュニティの間のギャップを埋めるために、実務家と研究者に実行可能なインサイトを提供する。

提案手法

• 27の会議・シンポジウムおよび7つのリポジトリを対象とした体系的文献サーベイを実施。レビュー対象として409件の論文を特定し、そのうち74件の一次研究を詳細分析対象に選定。
• 検索アルゴリズム選択および多目的定式化の根拠を評価するため、多段階の根拠フレームワーク（L1–L4）を適用。
• 検索タイプ（単目的対比多目的）、アルゴリズム使用状況、評価手法、およびSASの特徴に基づいて研究を分類。
• Pareto最適化における品質指標（例：ハイパーボリューム、生成距離）の使用状況を評価し、その根拠の質を分析。
• SBSEにおけるSASの問題に特化したカスタマイズ状況を評価するため、表現方法、フィットネス関数設計、シミュレータ使用状況を分析。
• 時間的トレンド、分野、アルゴリズム選択のトレンドを統計的および主題的分析により分析し、研究ギャップを同定。

実験結果

リサーチクエスチョン

• RQ1 SBSEにおける自己適応型システム（SASs）で最も一般的に使用されている検索アルゴリズムは何か。また、SAS問題の文脈において、その選択はどの程度正当化されているか。
• RQ2 SBSEにおける自己適応型システム（SASs）の多目的最適化問題は、どのように定式化されているか。また、その定式化と評価における制限は何か。
• RQ3 SBSEにおける自己適応型システム（SASs）のPareto探索で使用されている評価手法は何か。その根拠はどの程度厳密か。
• RQ4 検索アルゴリズムは、SAS固有の特徴にどの程度特化されているか。内部設計はどの程度変更されているか。
• RQ5 結果の一般化性はどの程度高いか。また、現在の研究で使用されている対象システムの多様性はいかがなっているか。

主な発見

• NSGA-IIはPareto探索の主流である一方、単目的または集約的目的の最適化ではGA、LS、IPソルバが最も一般的で、しばしば十分な根拠なしに選択されている。
• Pareto探索を用いる研究の50％以上が、任意の一般的な品質指標を採用しておらず、採用している研究の多くでも根拠はL2またはL3にとどまり、理論的根拠が弱いことが示された。
• アルゴリズム選択についてL4レベルの根拠を提示している研究はわずか15％にとどまり、大多数は「一般的に使われる」や「ライブラリに利用可能」といったL1またはL2の根拠に依存している。
• 問題の性質とSE/SASの専門知識の間で、徐々に乖離が生じており、多くの研究が表現やフィットネス関数に限定的に焦点を当て、システム固有の適応論理にはあまり注力していない。
• シミュレータが最も一般的な対象システムであり、研究の多くが1件のSASのみで評価しているため、一般化可能性が制限されている。
• 分野全体が遅延とコストを主な目的として強く偏っており、エネルギー効率性やセキュリティなどのその他の非機能的要件の探求は限定的である。