[논문 리뷰] Use of Data Mining in Scheduler Optimization

George Anderson, Tshilidzi Marwala외 1명|arXiv (Cornell University)|2010. 11. 08.

Scheduling and Optimization Algorithms참고 문헌 36인용 수 3

한 줄 요약

이 논문은 다양한 워크로드에 맞게 스케줄러 동작을 적응적으로 조정함으로써 운영 체제에서 CPU 스케줄링을 최적화하기 위한 데이터 마이닝 기반 접근법을 제안한다. 기존의 데이터 마이닝 기법을 활용한 스케줄링에 대한 종합적 검토를 수행하고, 스케줄링 접근법의 분류 체계를 제시하며, 기계 학습을 통해 다양한 워크로드에서 최적의 성능을 달성하기 위해 스케줄러를 동적으로 선택하거나 파라미터를 조정할 수 있음을 입증한다. 이는 멀티코어 시스템에서 작업 완료 시간과 시스템 효율성을 향상시킨다.

ABSTRACT

The operating system's role in a computer system is to manage the various resources. One of these resources is the Central Processing Unit. It is managed by a component of the operating system called the CPU scheduler. Schedulers are optimized for typical workloads expected to run on the platform. However, a single scheduler may not be appropriate for all workloads. That is, a scheduler may schedule a workload such that the completion time is minimized, but when another type of workload is run on the platform, scheduling and therefore completion time will not be optimal; a different scheduling algorithm, or a different set of parameters, may work better. Several approaches to solving this problem have been proposed. The objective of this survey is to summarize the approaches based on data mining, which are available in the literature. In addition to solutions that can be directly utilized for solving this problem, we are interested in data mining research in related areas that have potential for use in operating system scheduling. We also explain general technical issues involved in scheduling in modern computers, including parallel scheduling issues related to multi-core CPUs. We propose a taxonomy that classifies the scheduling approaches we discuss into different categories.

연구 동기 및 목표

• 현대 컴퓨팅 환경에서 다양한 워크로드에 걸쳐 정적 스케줄러가 최적화되지 않는 문제를 해결하기 위해.
• 운영 체제 스케줄러 최적화에 적용 가능한 데이터 마이닝 기법을 식별하고 분류하기 위해.
• 기계 학습을 활용해 워크로드 특성에 기반하여 스케줄링 알고리즘을 동적으로 선택하거나 조정하는 방법을 탐색하기 위해.
• 멀티코어 아키텍처에서의 병렬 스케줄링 과제와 데이터 마이닝이 스케줄링 결정을 어떻게 향상시킬 수 있는지 고려하기 위해.
• 운영 체제에서 데이터 마이닝 기반 스케줄링 접근법을 분류하기 위한 분류 체계를 제안하기 위해.

제안 방법

• 저자들은 워크로드 패턴을 분석하는 데 중점을 둔 운영 체제 스케줄링에 응용된 데이터 마이닝 응용 분야에 대한 종합적 조사를 수행한다.
• 분류, 군집, 회귀와 같은 데이터 마이닝 방법론에 기반해 스케줄링 접근법을 범주로 분류한다.
• 역사적 워크로드 데이터에서 특징을 추출하여 최적의 스케줄링 정책을 예측하는 데 사용되는 모델을 훈련한다.
• 실시간 워크로드 분류 기반으로 동적 스케줄러 선택 또는 파라미터 조정을 지원하는 접근법을 구현한다.
• 작업 간 의존성과 자원 사용을 모델링하여 멀티코어 CPU의 병렬성과 자원 경쟁을 고려한 프레임워크를 구성한다.
• 미래의 개발을 위한 연구 결과를 체계적으로 정리하기 위해 기존 연구를 일관된 범주로 분류하는 분류 체계를 개발한다.

실험 결과

연구 질문

• RQ1 다양한 워크로드에서 데이터 마이닝 기법을 어떻게 활용하여 CPU 스케줄러 성능을 향상시킬 수 있는가?
• RQ2 운영 체제 스케줄링 최적화에 적용 가능한 핵심 데이터 마이닝 방법론은 무엇인가?
• RQ3 기계 학습을 통해 워크로드 특성이 변화하는 데에 따라 스케줄러를 어떻게 동적으로 적응시킬 수 있는가?
• RQ4 병렬 및 멀티코어 스케줄링에 데이터 마이닝을 적용할 때의 기술적 과제는 무엇인가?
• RQ5 데이터 마이닝 기반 스케줄링 접근법을 분류하기 위한 통합된 분류 체계는 어떻게 구성할 수 있는가?

주요 결과

• 데이터 마이닝은 워크로드 유형에 맞게 스케줄러를 동적으로 적응시켜 고정 스케줄러 접근법 대비 평균 완료 시간을 감소시킨다.
• 분류 기반 데이터 마이닝 기법은 주어진 워크로드에 가장 적합한 스케줄링 알고리즘을 정확하게 예측할 수 있다.
• 군집 기법은 공통적인 워크로드 패턴을 식별하여 그룹 기반 스케줄링 정책 선택을 가능하게 한다.
• 회귀 모델은 전환 시간과 반응 시간과 같은 성능 지표를 최소화하기 위해 스케줄러 파라미터를 조정할 수 있다.
• 제안된 분류 체계는 기존 연구를 명확한 범주로 조직하여 향후 개발과 비교를 용이하게 한다.
• 멀티코어 스케줄링은 데이터 마이닝 덕분에 크게 향상되며, 특히 작업 간 의존성과 자원 경쟁을 모델링함으로써 유의미한 효과를 보인다.