[논문 리뷰] Resource Allocation in Public Cluster with Extended Optimization Algorithm

Zaenal Akbar, L. T. Handoko|ArXiv.org|2007. 08. 04.

Distributed and Parallel Computing Systems참고 문헌 8인용 수 4

한 줄 요약

이 논문은 공공 고성능 컴퓨팅 클러스터, 특히 LIPI 공용 클러스터를 대상으로 자동 자원 할당을 위한 확장된 유전 알고리즘을 제안한다. 사용자 요청에 기반한 작업 스케줄링 최적화를 통해 정확한 방법에 비해 계산 시간을 크게 단축하면서도 거의 최적에 가까운 성능을 달성하여, 공유 컴퓨팅 환경에서 실시간 의사결정의 강력한 잠재력을 보여준다.

ABSTRACT

We introduce an optimization algorithm for resource allocation in the LIPI Public Cluster to optimize its usage according to incoming requests from users. The tool is an extended and modified genetic algorithm developed to match specific natures of public cluster. We present a detail analysis of optimization, and compare the results with the exact calculation. We show that it would be very useful and could realize an automatic decision making system for public clusters.

연구 동기 및 목표

• 수동 또는 비최적의 스케줄링으로 인한 공용 클러스터 내 자원 할당의 비효율성 문제를 해결하기 위해.
• 공용 클러스터 환경에 적합한 확장 가능하고 자동화된 의사결정 시스템을 개발하기 위해.
• 공용 클러스터의 특정 워크로드 및 요청 패턴에 맞게 유전 알고리즘을 적응시키기 위해.
• 해결 품질을 유지하면서 자원 할당에 대한 계산 시간을 단축하기 위해.
• 확장된 최적화 알고리즘의 성능을 정확한 계산 방법과 비교하기 위해.

제안 방법

• 공용 클러스터 워크로드의 고유한 특성, 예를 들어 다양한 작업 유형과 동적인 사용자 요청을 처리할 수 있도록 확장된 유전 알고리즘을 설계하였다.
• 클러스터 활용도, 작업 완료 시간, 사용자 간 공정성 등을 고려한 적합도 함수를 사용하였다.
• 클러스터 스케줄링 맥락에서 수렴성과 해 품질 향상을 위해 선택, 교차, 변이 연산자를 수정하였다.
• LIPI 공용 클러스터의 이력 작업 요청 데이터를 반복적으로 활용하여 알고리즘을 정교화하였다.
• 소규모 테스트 케이스에 대해 정확한 계산 방법과 비교하여 알고리즘의 성능을 평가하였다.
• 자원 제한, 작업 우선순위, 실행 마감일자 등의 제약 조건이 최적화 과정에 포함되었다.

실험 결과

연구 질문

• RQ1 유전 알고리즘을 어떻게 효과적으로 확장하여 공용 클러스터 환경에서 자원 할당을 최적화할 수 있는가?
• RQ2 확장된 유전 알고리즘은 정확한 방법에 비해 어떤 수준의 해 품질을 달성할 수 있는가?
• RQ3 제안된 알고리즘이 공용 클러스터 스케줄링을 위한 실시간 자동 의사결정을 가능하게 할 수 있는가?
• RQ4 다양한 워크로드에서 알고리즘의 수렴 속도와 확장성은 어떻게 평가되는가?
• RQ5 맞춤형 유전 연산자가 해 품질과 자원 활용도에 어떤 영향을 미치는가?

주요 결과

• 확장된 유전 알고리즘은 정확한 계산 방법과 거의 동일한 자원 할당 결과를 달성한다.
• 알고리즘은 스케줄링 결정에 대한 계산 시간을 크게 단축하여 실시간 할당이 가능하게 한다.
• 다양하고 동적인 사용자 요청 패턴 하에서도 해 품질이 높게 유지된다.
• 알고리즘은 공용 클러스터의 특정 워크로드 특성에 대해 강력한 확장성과 적응성을 보여준다.
• 표준 유전 알고리즘에 비해 맞춤형 유전 연산자를 사용함으로써 수렴성과 해의 강건성이 향상된다.
• 결과는 제안된 알고리즘이 공용 클러스터 환경에서 자동 스케줄링 시스템으로 구현 가능한 것으로 지원한다.