[논문 리뷰] FLASH: A Faster Optimizer for SBSE Tasks

Vivek Nair, Zhe Yu외 1명|arXiv (Cornell University)|2017. 05. 14.

Software Engineering Research참고 문헌 36인용 수 5

한 줄 요약

FLASH는 검색 기반 소프트웨어 공학(SBSE)을 위한 새로운 의사결정 트리 기반 최적화 방법으로, 효율적인 샘플링을 안내하기 위해 각 목적으로부터 점진적으로 하나의 트리를 구축한다. 이는 NSGA-II 및 베이지안 최적화와 같은 최첨단 알고리즘보다 최대 99% 적은 평가 수를 요구하면서도 더 이해하기 쉬운 모델을 생성하고, 다른 알고리즘이 종료하지 못하는 복잡한 문제에까지 스케일링할 수 있다.

ABSTRACT

Most problems in search-based software engineering involve balancing conflicting objectives. Prior approaches to this task have required a large number of evaluations- making them very slow to execute and very hard to comprehend. To solve these problems, this paper introduces FLASH, a decision tree based optimizer that incrementally grows one decision tree per objective. These trees are then used to select the next best sample. This paper compares FLASH to state-of-the-art algorithms from search-based SE and machine learning. This comparison uses multiple SBSE case studies for release planning, configuration control, process modeling, and sprint planning for agile development. FLASH was found to be the fastest optimizer (sometimes requiring less than 1% of the evaluations used by evolutionary algorithms). Also, measured in terms of model size, FLASH's reasoning was far more succinct and comprehensible. Further, measured in terms of finding effective optimization, FLASH's recommendations were highly competitive with other approaches. Finally, FLASH scaled to more complex models since it always terminated (while state-of-the-art algorithm did not).

연구 동기 및 목표

• SBSE에서 전통적인 진화 알고리즘(EAs)의 높은 평가 비용과 낮은 설명 가능성 문제를 해결한다.
• 고차원 SBSE 문제에서 베이지안 최적화의 확장성 한계를 극복한다.
• 소프트웨어 분석, 머신 러닝, 진화 계산의 통찰을 융합한 하이브리드 최적화 방법을 개발한다.
• 다중목표 SBSE 작업(예: 릴리스 기획, 구성 제어, 애자일 스프린트 기획)을 위한 빠르고 해석 가능하며 확장 가능한 EAs의 대안을 제공한다.
• 공개된 코드와 모델을 통해 재현 가능성을 확보하고, 다양한 실제 SBSE 사례 연구에서 FLASH의 효과성을 입증한다.

제안 방법

• FLASH는 각 목표를 독립적으로 모델링하기 위해 CART를 사용하는 의사결정 트리 학습기를 활용하며, 목표별로 점진적으로 하나의 트리를 구축한다.
• 각 반복 단계에서 FLASH는 트리의 예측을 기반으로 탐색과 이용의 균형을 고려한 히وري스틱을 최대화하여 다음 샘플을 선택한다.
• 가우시안 프로세스나 복잡한 모델 대신 단순하고 해석 가능한 의사결정 트리를 사용함으로써, 비용이 많이 드는 서rogate 모델링을 피한다.
• 각 목표에 대해 별도의 트리를 유지하고, 후보 샘플링을 위한 지배 기반 선택 전략을 사용함으로써 다중목표 최적화를 지원한다.
• 도메인 특화 하이퍼파라미터 튜닝이나 분포 가정 없이도 사용할 수 있도록 설계된 플러그 앤 플레이 최적화 방법이다.
• 실제로 구성 가능한 시스템과 릴리스 기획, 구성, 애자일 개발 분야의 사례 연구 변형을 조합하여 평가한다.

실험 결과

연구 질문

• RQ1 비진화적이고 트리 기반 최적화 방법이 SBSE 작업에서 평가 효율성 측면에서 최첨단 진화 알고리즘(예: NSGA-II, SPEA2)을 능가할 수 있는가?
• RQ2 다중목표 SBSE 환경에서 전통적인 EAs나 베이지안 최적화보다 FLASH가 더 해석 가능하고 이해하기 쉬운 모델을 생성하는가?
• RQ3 고차원 또는 복잡한 SBSE 모델에 적용했을 때, 베이지안 최적화 및 EAs와 비교해 FLASH의 확장성은 어떠한가?
• RQ4 FLASH는 경쟁 방법보다 훨씬 적은 평가 수로 파레토 최적 경계 근처의 해를 일관되게 찾을 수 있는가?
• RQ5 FLASH가 가장 효과적인 SBSE 문제의 유형은 무엇이며, 어떤 상황에서는 사용해서는 안 되는가?

주요 결과

• 일부 사례 연구에서 FLASH는 진화 알고리즘(예: NSGA-II)이 사용하는 평가 수의 1% 미만으로 평가를 완료하여 놀라운 속도를 보였다.
• FLASH는 EAs보다 훨씬 작고 더 이해하기 쉬운 의사결정 트리를 생성하여 최적화 결정의 명확한 정당화를 가능하게 하였다.
• FLASH는 최첨단 방법과 경쟁 가능한 최적화 성능을 달성하였으며, 항상 진짜 파레토 최적 경계 근처의 해를 찾는 데 성공하였다.
• 15개의 실제 구성 가능한 시스템과 13개의 사례 연구 변형에서 다른 방법들이 수렴하지 못한 가운데, FLASH는 유일하게 모든 문제에서 성공적으로 종료하였다.
• 특히 고차원 또는 제약 조건이 많은 모델에서, ePAL, NSGA-II, SPEA2, MOEA/D, SWAY와 비교해 FLASH는 수렴 속도와 확장성 측면에서 뛰어난 성능을 보였다.
• FLASH와 관련 모델의 공개는 SBSE 연구 및 실무 분야에서의 재현 가능성과 광범위한 도입을 가능하게 하였다.