[논문 리뷰] Scalability Analysis of the RADAR Decision Support Tool

Saheed A. Busari, Emmanuel Letier|arXiv (Cornell University)|2017. 02. 09.

Simulation Techniques and Applications참고 문헌 4인용 수 3

한 줄 요약

이 논문은 다목적 최적화와 정보 가치 분석을 사용하여 아키텍처 결정을 평가하는 RADAR 의사결정 지원 도구의 확장성을 분석한다. 연구는 시뮬레이션, 목표 수, 설계 공간 크기와 비례하여 시간과 메모리 사용량이 선형 증가함을 확인하며, 전수 시뮬레이션을 근본적인 성능 저하 원인으로 규명하여 실용적 사용을 약 10개의 독립된 결정(각각 3개의 선택지) 이내로 제한한다.

ABSTRACT

This report presents a theoretical complexity analysis and empirical scalability analysis of the Requirements and Architecture Decision Analyser (RADAR).

연구 동기 및 목표

• RADAR 의사결정 지원 도구의 이론적 및 실증적 확장성을 평가하기 위해.
• 설계 공간 생성, 시뮬레이션, 파레토 최적화, 정보 가치 계산의 네 단계로 구성된 RADAR의 분석 파이프라인에서의 성능 저하 원인을 규명하기 위해.
• 실제 및 합성 모델에서 RADAR의 전수 탐색 전략의 실용적 한계를 규명하기 위해.
• 더 큰 설계 공간을 다룰 수 있도록 히وري스틱 탐색 전략이 필요하다는 점을 규명함으로써 향후 개발 방향을 제시하기 위해.
• 모델 특성—시뮬레이션 수, 목표 수, 설계 공간 크기—가 런타임과 메모리 소비에 미치는 영향을 평가하기 위해.

제안 방법

• 이상기호 표기법을 사용하여 RADAR의 네 단계 파이프라인의 이론적 시간 및 공간 복잡도 분석을 수행한다.
• 시뮬레이션 수(N), 설계 공간 크기, 목표 수를 제어하여 변화시킨 합성 모델에서 성능을 실증적으로 평가한다.
• 설정 가능한 결의사항, 선택지, 목표 및 종속성으로 구성된 모델 생성기를 사용한다.
• 설계 공간 크기와 최대 5개의 목표를 가진 180개의 합성 모델을 대상으로 런타임과 메모리 사용량을 측정한다.
• EVTPI 및 EVPPI 계산에 표준 공식을 적용하며, 둘 다 O(N×|S|)의 복잡도로 제한된다.
• 최근에 개발된 효율적인 EVPPI 추정 알고리즘을 사용하여 파레토 최적 해의 수에 대해 선형 시간 복잡도를 유지한다.

실험 결과

연구 질문

• RQ1 RADAR의 런타임과 메모리 사용량은 시뮬레이션 수(N)에 따라 어떻게 변화하는가?
• RQ2 RADAR의 성능은 설계 공간 크기가 증가함에 따라 어떻게 변화하는가?
• RQ3 RADAR의 성능은 목표 수가 증가함에 따라 어떻게 변화하는가?
• RQ4 네 분석 단계 중 각 단계가 총 런타임과 메모리 사용량의 몇 퍼센트를 차지하는가?

주요 결과

• RADAR의 런타임과 메모리 사용량은 시뮬레이션 수(N)에 비례하여 선형 증가하며, 이는 이론적 복잡도 예측을 확인한다.
• 시뮬레이션 단계는 총 런타임의 100%와 메모리 사용량의 96%를 소비하여 성능 저하의 주요 원인이 된다.
• 2개의 목표와 10개의 결의사항(각각 3개의 선택지)을 가진 경우, RADAR는 6912개의 해를 111초 내에 분석하여 2분 이내에 완료한다.
• 1시간 이내에 분석된 가장 큰 모델은 설계 공간이 153,751개의 해를 포함했으며(11개의 결의사항에 7개의 선택지 각각), 실용적 한계 내에서의 확장성을 확인한다.
• 런타임과 메모리 사용량은 이론적으로 예측한 바와 같이 목표 수에 비례하여 선형 증가하며, 유의미한 편차는 관찰되지 않는다.
• 파레토 최적화 및 기대 정보 가치 계산 단계는 런타임에 각각 0%의 기여를 하며, 메모리 사용량에선 각각 1%와 3%를 기여하여, 시뮬레이션 단계가 주요 비용 원천임을 확인한다.