[논문 리뷰] VEER: Disagreement-Free Multi-objective Configuration.

Kewen Peng, Christian Kaltenecker외 3명|arXiv (Cornell University)|2021. 06. 04.

Advanced Multi-Objective Optimization Algorithms참고 문헌 30인용 수 6

한 줄 요약

VEER는 다목적 소프트웨어 구성에서의 모델 불일치 문제를 해결하기 위해, N-목적 공간의 일차원 근사치를 생성하는 차원 축소 히우리스틱을 FLASH 최적화기 위에 적용함으로써, 최대 1,000배 빠른 성능과 기존 최적화기와 동등한 해의 품질을 확보하면서도, 대규모 구성 공간에서 효율적이고 불일치 없는 탐색을 가능하게 한다.

ABSTRACT

Software comes with many configuration options, satisfying varying needs from users. Exploring those options for non-functional requirements can be tedious, time-consuming, and even error-prone (if done manually). Worse, many software systems can be tuned to multiple objectives (e.g., faster response time, fewer memory requirements, decreased network traffic, decreased energy consumption, etc.). Learning how to adjust the system among these multiple objectives is complicated due to the trade-off among objectives; i.e., things that seem useful to achieve one objective could be detrimental to another objective. Consequentially, the optimizer built for one objective may have different (or even opposite) insights on how to locate good solutions from the optimizer built from another objective. In this paper, we define this scenario as the model disagreement problem. One possible solution to this problem is to find a one-dimensional approximation to the N-objective space. In this way, the case is converted to a single-objective optimization, which is naturally confusion-free. This paper demonstrates VEER, a tool that builds such an approximation by combining our dimensionality-reduction heuristic on top of one of the state-of-the-art optimizers, FLASH. VEER can explore very large configuration spaces by evaluating just a small fraction of the total number of configurations (e.g., a space of 81,000 configurations can be explored by 70 samples). The experimental result in this paper demonstrates the feasibility of our approach in terms of the on-par quality of the solution set generated by the optimizer and the resolved model disagreement within the optimizer. Moreover, we demonstrate that VEER has an improved computational complexity compared to the original optimizer (up to 1,000 times faster while maintaining on-par performance).

연구 동기 및 목표

• 다양한 목적으로 훈련된 최적화기가 상반된 통찰을 제공하는 다목적 소프트웨어 구성에서의 모델 불일치 문제를 해결하기 위해.
• 모든 가능한 구성 조합을 전수 평가하지 않고도 대규모 구성 공간을 효율적으로 탐색하기 위해.
• 해의 품질을 최상위 수준의 최적화기들과 동등하게 유지하면서 계산 복잡도를 줄이기 위해.
• 응답 시간, 메모리 사용량, 에너지 소비와 같은 다수의 비기능 요구사항에 걸쳐 통합되고 불일치 없는 방식으로 시스템 튜닝을 제공하기 위해.

제안 방법

• N차원 목적 공간을 일차원 근사치로 매핑하는 새로운 차원 축소 히우리스틱을 적용하여, 다목적 최적화 문제를 단일 목적 문제로 단순화하기 위해.
• 차원 축소 기법을 FLASH 최적화기와 통합하여, 고품질의 해 집합을 유지하면서도 검색 공간을 축소하기 위해.
• 일차원 근사치를 훈련하고 평가하기 위해 구성 조합의 소규모 대표 샘플(예: 81,000개 중 70개)을 사용하기 위해.
• 다양한 목적에서 유도된 충돌하는 지침 없이도 파레토 최적 해에 도달하도록 최적화기를 이끌기 위해 일차원 근사치를 활용하기 위해.
• 차원 축소 과정에서 목적 간의 트레이드오프 관계를 유지할 수 있도록 히우리스틱을 설계하기 위해.
• 최적화 과정 중에 필요한 구성 평가 수를 최소화하여 효율적인 확장성을 확보하기 위해.

실험 결과

연구 질문

• RQ1 N-목적 구성 공간의 일차원 근사치가 서로 다른 목적으로 훈련된 최적화기 간의 모델 불일치 문제를 효과적으로 해결할 수 있는가?
• RQ2 VEER는 대규모 구성 공간을 탐색하기 위해 필요한 구성 평가 수를 얼마나 줄일 수 있으며, 해의 품질을 유지할 수 있는가?
• RQ3 VEER의 계산 복잡도는 원래의 FLASH 최적화기와 비교해 성능과 확장성 측면에서 어떻게 다른가?
• RQ4 차원 축소 히우리스틱이 고품질의 파레토 최적 구성 조합을 식별하는 데 필요한 트레이드오프 구조를 유지하는가?

주요 결과

• VEER는 원래의 FLASH 최적화기와 동등한 해 집합의 품질을 달성하여, 일차원 근사치가 필수적인 트레이드오프 정보를 유지하고 있음을 입증하였다.
• VEER는 81,000개의 구성 조합 공간에서 단지 70개의 샘플로 필요한 구성 평가 수를 줄여 효율적인 탐색을 가능하게 하였다.
• VEER는 원래의 FLASH 최적화기 대비 최대 1,000배 빠른 계산 복잡도를 확보하면서도 동등한 해의 품질을 유지하였다.
• 차원 축소 히우리스틱은 다수의 목적에 걸쳐 충돌하는 최적화기 통찰을 통합함으로써 모델 불일치 문제를 성공적으로 해결하였다.
• 이 방법은 해의 정밀도나 새로운 오류 원천을 도입하지 않으면서도 대규모 구성 공간에서의 확장 가능한 최적화를 가능하게 하였다.