[논문 리뷰] Mantis: Predicting System Performance through Program Analysis and Modeling

Byung-Gon Chun, Ling Huang외 3명|arXiv (Cornell University)|2010. 09. 30.

Software System Performance and Reliability참고 문헌 26인용 수 11

한 줄 요약

Mantis는 실행 트레이스에서 프로그램 특징을 추출하고 모델링하기 위해 프로그램 분석과 기계 학습을 융합하여 실행 시간 예측 정확도가 93% 이상인 신규 프레임워크이다. 이 프레임워크는 특징 인스트루멘테이션, 기계 학습 기반 특징 선택, 프로그램 슬라이싱을 활용하여 실시간 성능 예측을 위한 효율적인 예측 특징을 계산하는 경량 코드 스니펫을 생성한다.

ABSTRACT

We present Mantis, a new framework that automatically predicts program performance with high accuracy. Mantis integrates techniques from programming language and machine learning for performance modeling, and is a radical departure from traditional approaches. Mantis extracts program features, which are information about program execution runs, through program instrumentation. It uses machine learning techniques to select features relevant to performance and creates prediction models as a function of the selected features. Through program analysis, it then generates compact code slices that compute these feature values for prediction. Our evaluation shows that Mantis can achieve more than 93% accuracy with less than 10% training data set, which is a significant improvement over models that are oblivious to program features. The system generates code slices that are cheap to compute feature values.

연구 동기 및 목표

• 복잡하고 대규모 프로그램의 시스템 성능을 정확히 예측하기 위한 도전 과제를 해결하기 위해 블랙박스 모델이나 개발자가 제공한 의미론적 정보에 의존하지 않는 것.
• 실행 트레이스에서 프로그램 의미론을 반영하고 성능 메트릭과 상관관계가 있는 의미 있는 프로그램 특징을 자동으로 추출하는 것.
• 예측 시점에 이러한 특징을 효율적으로 계산하는 경량이고 효율적인 코드 스니펫을 생성하여 런타임 오버헤드를 최소화하는 것.
• 입력 크기나 설정 파라미터에만 의존하는 기존 블랙박스 모델에 비해 예측 정확도를 향상시키는 것.
• 데이터 센터 및 분산 응용 프로그램과 같은 실제 시스템에 성능 예측을 실용적으로 구현할 수 있도록 하는 것.

제안 방법

• 메타데이터, 제어 흐름 패턴, 데이터 접근 특성 등 다양한 실행 특징을 수집하기 위해 프로그램을 인스트루먼트하는 것.
• 특히 희소 회귀를 활용한 기계 학습 기법을 적용하여 성능 예측에 가장 관련성이 높은 특징을 식별하는 것.
• 예측 시점에 선택된 특징만 계산하는 최소화되고 효율적인 코드 조각을 생성하기 위해 프로그램 슬라이싱을 활용하는 것.
• 특징 선택과 슬라이싱을 통합하여 예측력이 높고 계산 오버헤드가 적은 특징을 우선순위로 정하는 것.
• 시스템을 블랙박스로 간주하는 대신 내부 프로그램 의미론을 활용하는 화이트박스 예측 모델을 구축하는 것.
• 작은 비율(10% 미만)의 훈련 데이터를 사용하여 실제 응용 프로그램(Lucene 및 ImageJ)에서 프레임워크를 평가하는 것.

실험 결과

연구 질문

• RQ1 실행 트레이스에서 추출한 프로그램 특징이 블랙박스 모델에 비해 성능 예측 정확도를 크게 향상시킬 수 있는가?
• RQ2 예측력이 높고 계산 효율성도 뛰어난 최소한의 특징 집합을 자동으로 식별할 수 있는가?
• RQ3 특징 선택과 프로그램 슬라이싱을 통합함으로써 예측 모델의 효율성과 정확도에 어떤 영향을 미치는가?
• RQ4 프로그램 분석에 기반한 화이트박스 접근 방식이 실제 응용 프로그램에서 기존 블랙박스 모델링 방식을 능가할 수 있는가?
• RQ5 이 프레임워크는 다양한 유형의 프로그램과 워크로드에 대해 얼마나 확장 가능하고 일반화 가능한가?

주요 결과

• Mantis는 훈련 데이터의 10% 미만을 사용하여 실행 시간 예측 정확도가 93% 이상을 달성하여 블랙박스 모델을 크게 능가한다.
• 블랙박스 모델이 간과하는 프로그램 의미론을 인스트루먼트된 특징을 통해 활용함으로써 예측 오차를 감소시킨다.
• 프로그램 슬라이싱을 통해 생성된 코드 스니펫은 매우 효율적이며, 예측 시점에 특징 계산을 빠르게 수행하고 런타임 오버헤드를 최소화한다.
• 희소 회귀를 통한 특징 선택은 많은 후보 특징 중에서 가장 관련성이 높은 특징을 효과적으로 식별한다.
• 슬라이싱과 모델 생성을 통합함으로써 계산 오버헤드가 적은 특징만 선택되므로 배포 가능성과 효율성이 향상된다.
• 이 접근 방식은 검색 엔진(Lucene)과 이미지 처리 도구(ImageJ)를 포함한 다양한 응용 프로그램에서 효과적으로 작동한다.