[논문 리뷰] Search-Based Software Engineering for Self-Adaptive Systems: Survey, Disappointments, Suggestions and Opportunities

Tao Chen, Miqing Li외 2명|arXiv (Cornell University)|2020. 01. 22.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 2009–2019년 동안의 74개의 주요 연구를 분석하여 자가적응형 시스템(SASs)을 위한 검색 기반 소프트웨어 공학(SBSE)에 대한 첫 번째 종합적 설문 조사 결과를 제시한다. 연구는 다섯 가지 핵심적인 실망 요소—정당화되지 않은 알고리즘 선택, 제한된 다목적 공식화, 의심스러운 평가 방법, 알고리즘 특화 부족, 약한 일반화 능력—를 규명하며, 분야 발전을 위한 여덟 가지 미개척 연구 기회를 제안한다.

ABSTRACT

Search-Based Software Engineering (SBSE) is a promising paradigm that exploits the computational search to optimize different processes when engineering complex software systems. Self-adaptive system (SAS) is one category of such complex systems that permits to optimize different functional and non-functional objectives/criteria under changing environments (e.g., requirements and workload), which involves problems that are subject to search. In this regard, over years, there has been a considerable amount of work that investigates SBSE for SASs. In this paper, we provide the first systematic and comprehensive survey exclusively on SBSE for SASs, covering papers in 27 venues from 7 repositories, which eventually leads to several key statistics from the most notable 74 primary studies in this particular field of research. Our results, surprisingly, have revealed five disappointments that are of utmost importance and can result in serve consequences but have been overwhelmingly ignored in existing studies. We provide theoretical and/or experimental evidence to justify our arguments against the disappointments, present suggestions, and highlight the promising research opportunities towards their mitigation. We also elaborate on three other emergent, but currently under-explored opportunities for future work on SBSE for SASs. By mitigating the disappointments revealed in this work, together with the highlighted opportunities, we hope to be able to excite a much more significant growth in this particular research direction.

연구 동기 및 목표

• SBSE를 통한 자가적응형 시스템(SASs)에 대한 체계적인 개요가 부족하여 분야 발전이 저해된 문제를 해결하기 위해.
• 현재 SASs를 위한 SBSE 연구에서 반복적으로 나타나는 방법론적 결함(‘실망 요소’로 명명됨)을 식별하고 분석하기 위해.
• SBSE를 통한 SASs 연구의 타당성과 철학적 엄밀함을 향상시키기 위한 증거 기반 제안을 제공하기 위해.
• SBSE를 통한 SASs 분야의 발전을 크게 이끌 수 있는 미개척 연구 기회를 부각하기 위해.
• SBSE 및 SAS 공동체 간 격차를 해소하기 위해 실무자와 연구자에게 실행 가능한 통찰을 제공하기 위해.

제안 방법

• 27개의 학술 컨ferenced 및 7개의 자료 저장소를 대상으로 체계적인 문헌 조사 수행하여 총 409篇의 논문을 심층 검토하고, 그 중 74개의 주요 연구를 심층 분석 대상으로 선정.
• 검색 알고리즘 선택 및 다목적 공식화의 근거를 평가하기 위해 다단계 정당화 프레임워크(L1–L4)를 적용.
• 검색 유형(단일 목표 대비 다목적), 알고리즘 사용 방식, 평가 방법, 대상 SAS 특성 기반으로 연구를 분류.
• 파레토 최적화에서 품질 지표(예: 히퍼볼륨, 생성 거리)의 사용 여부를 평가하고, 그 정당화 수준을 분석.
• SBSE를 통한 SASs의 표현 방식, 적합도 함수 설계, 시뮬레이터 사용 여부를 분석하여 문제 특화 맞춤화 수준을 평가.
• 시간, 분야, 알고리즘 선택에 따른 추세를 주제별 및 통계적 분석을 통해 연구 격차를 규명.

실험 결과

연구 질문

• RQ1 SBSE를 통한 SASs에서 가장 흔히 사용되는 검색 알고리즘은 무엇이며, SAS 문제 맥락에서 그 선택이 얼마나 정당화되어 있는가?
• RQ2 SBSE를 통한 SASs에서 다목적 최적화 문제는 어떻게 공식화되어 있으며, 그 공식화 및 평가에서 나타나는 한계는 무엇인가?
• RQ3 SBSE를 통한 SASs에서 파레토 검색에 사용되는 평가 방법은 무엇이며, 그 정당화는 얼마나 엄밀한가?
• RQ4 검색 알고리즘이 SAS 고유의 특성에 얼마나 특화되어 있으며, 내부 설계는 얼마나 수정되었는가?
• RQ5 결과의 일반화 능력은 어떠한가? 현재 연구에서 사용된 주요 시스템의 다양성은 얼마나 되는가?

주요 결과

• NSGA-II는 파레토 검색의 주요 알고리즘으로 지배적이며, 단일 또는 통합 목표를 위한 GA, LS, IP 솔버도 자주 사용되지만, 그 선택에 대한 충분한 정당화가 빈번히 부족하다.
• 파레토 검색을 사용하는 연구의 50% 이상이 어떤 일반 품질 지표도 사용하지 않으며, 사용하는 경우에도 대부분 L2 또는 L3 수준의 정당화를 보이며 이는 이론적 기반의 약화를 시사한다.
• 알고리즘 선택에 대해 L4 수준의 정당화를 제공하는 연구는 단 15%에 불과하며, 대부분은 '일반적으로 사용됨' 또는 '라이브러리에 존재함'과 같은 L1 또는 L2 수준의 정당화에 의존한다.
• 문제의 본질과 소프트웨어 공학/SAS 전문 지식 간의 점점 커지는 괴리가 나타나고 있으며, 대부분의 연구가 표현 방식과 적합도 함수에 집중할 뿐, 시스템 고유의 적응 논리에는 거의 초점을 두지 않는다.
• 시뮬레이터가 가장 일반적인 주요 시스템이며, 대부분의 연구가 한 번의 연구당 하나의 SAS만을 평가하여 일반화 가능성에 제한을 받는다.
• 분야는 지연 시간과 비용을 주요 목표로 강하게 편향되어 있으며, 에너지 효율성 또는 보안과 같은 다른 비기능적 기준에 대한 탐색은 제한적이다.