[논문 리뷰] SimGrid: a Sustained Effort for the Versatile Simulation of Large Scale Distributed Systems

Henri Casanova, Arnaud Giersch외 3명|arXiv (Cornell University)|2013. 09. 06.

Distributed and Parallel Computing Systems참고 문헌 4인용 수 16

한 줄 요약

SimGrid는 15년에 걸친 지속적 투자, 철저한 공학적 접근 및 활발한 커뮤니티 참여를 통해 발전한 성숙한 오픈소스 시뮬레이션 프레임워크로, 대규모 분산 시스템을 위한 정확하고 확장성 있으며 재현 가능한 시뮬레이션을 가능하게 한다. 모듈식 모델, 지속적 통합 및 점차 확장되는 도구 및 문서화 생태계를 통해 HPC, 클라우드, P2P 및 그리드 워크로드를 정확하게 시뮬레이션할 수 있다.

ABSTRACT

In this paper we present Simgrid, a toolkit for the versatile simulation of large scale distributed systems, whose development effort has been sustained for the last fifteen years. Over this time period SimGrid has evolved from a one-laboratory project in the U.S. into a scientific instrument developed by an international collaboration. The keys to making this evolution possible have been securing of funding, improving the quality of the software, and increasing the user base. In this paper we describe how we have been able to make advances on all three fronts, on which we plan to intensify our efforts over the upcoming years.

연구 동기 및 목표

• 사용자 정의된, 문서화되지 않거나 이용이 불가능한 시뮬레이터로 인해 발생하는 대규모 분산 시스템 시뮬레이션 연구의 재현성 부족 문제를 해결하기 위해.
• HPC, 클라우드, P2P, 그리드 등 다양한 분야에 적용 가능한 단일한 유연하고 확장 가능한 프레임워크를 통해 시뮬레이션 도구의 분열 문제를 해결하기 위해.
• 다양한 자금 조달, 철저한 소프트웨어 공학 관행 및 활발한 사용자 참여를 통해 과학 소프트웨어 도구의 장기적 지속 가능성을 확보하기 위해.
• 기본 작업 그래프 모델에서 시간에 따라 변화하는 자원 행동 및 장애 주입을 포함한 고급 모델로 진화시켜 시뮬레이션 정확도와 확장성을 향상시키기 위해.
• 원래 연구 팀 이후에도 도구가 지속 가능하게 유지될 수 있도록 국제적 사용자 커뮤니티를 육성하여 개발을 이끄는 데 목적이 있다.

제안 방법

• 작업 스케줄링에서 전체 애플리케이션 실행에 이르기까지 다양한 사용 사례를 지원하기 위해 MSG, SimDag, GRAS 등 여러 API를 갖춘 모듈식 시뮬레이션 코어를 개발하였다.
• 기존의 웜홀 모델 대비 정확도를 향상시키기 위해 유체 네트워크 모델을 구현하여 더 현실적인 성능 예측을 가능하게 하였다.
• 시간에 따라 변화하는 자원 성능 및 장애 이벤트를 모델링하기 위해 트레이스 기반 시뮬레이션을 도입하여 대규모 시나리오에서의 현실성 향상을 달성하였다.
• Git, 지속적 통합(CDash), 250개 이상의 단위 테스트를 포함한 테스트 세트(tesh)를 활용한 강력한 소프트웨어 공학 파이프라인을 구축하여 코드 안정성과 다중 아키텍처 및 운영 체제 간 호환성을 확보하였다.
• 튜토리얼, 문서화, 사용자 데이즈, 메일링 리스트를 포함한 포괄적인 생태계를 구축하여 사용자 수용과 커뮤니티 주도 개발을 지속하였다.
• 국가 기관 및 연구 보조금 등 다중 자금 조달을 확보하고, 대륙을 가로질러 분산된 팀의 적극적인 기여를 통해 장기적 지속 가능성을 확보하였다.

실험 결과

연구 질문

• RQ1 어떻게 시뮬레이션 프레임워크가 다양한 과학 분야에서 장기적 지속 가능성과 광범위한 도입을 달성할 수 있는가?
• RQ2 장기적으로 유지되는 과학 소프트웨어에서 높은 코드 품질과 신뢰성을 유지를 위해 필수적인 소프트웨어 공학 관행은 무엇인가?
• RQ3 발간된 연구에서 사용될 때 시뮬레이션 도구가 재현성과 투명성을 어떻게 확보할 수 있는가?
• RQ4 오픈소스 과학 소프트웨어를 위한 성장하고 활발한 사용자 커뮤니티를 조성하기 위한 메커니즘은 무엇인가?
• RQ5 하나의 시뮬레이션 프레임워크가 HPC, 클라우드, P2P 및 자원 기부 컴퓨팅 환경을 포함한 이질적이고 대규모 분산 시스템을 얼마나 효과적으로 모델링할 수 있는가?

주요 결과

• SimGrid는 지난 5년 간 네 대륙에서 100명이 넘는 저자들이 기여한 60편 이상의 연구 논문 및 박사 학위 논문에서 사용되었다.
• 이 프레임워크는 한 연구실 중심의 프로젝트에서 출발하여 20명 이상의 활동적 기여자가 참여하는 국제 협업으로 진화하여 장기적 지속 가능성의 성공적인 사례로 입증되었다.
• 지속적 통합 및 자동화된 테스트(CDash 및 tesh를 통해) 덕분에 코드 안정성이 크게 향상되었으며, 다양한 아키텍처와 운영 체제에서 정기적인 크로스플랫폼 테스트가 수행되고 있다.
• 트레이스 기반 모델 및 장애 시뮬레이션 기능의 통합으로 이질적이고 동적인 플랫폼의 더 정확하고 현실적인 시뮬레이션을 가능하게 하였다.
• 튜토리얼, 문서화, 사용자 데이즈, 반응성이 뛰어난 메일링 리스트를 통한 능동적인 사용자 참여가 활성화된 사용자 기반의 성장과 유지에 결정적인 역할을 하였다.
• 과학 연구 및 소프트웨어 공학을 위한 다양한 자금 조달을 확보하는 것이 개별 연구 프로젝트의 수명을 초월해 개발을 지속하는 데 핵심적인 요소였다.