[논문 리뷰] Economic and On Demand Brain Activity Analysis on Global Grids

Rajkumar Buyya, Susumu Date외 3명|ArXiv.org|2003. 02. 13.

Distributed and Parallel Computing Systems참고 문헌 7인용 수 9

한 줄 요약

이 논문은 Nimrod-G, GridBus, Globus와 같은 그리드 기술을 사용하여 MEG(magnetoencephalography) 뇌 활동 데이터를 분석하기 위한 수요 기반, 경제 기반의 그리드 컴퓨팅 프레임워크를 제안한다. 마켓 기반 스케줄링 알고리즘을 통합함으로써, 대규모 신경과학 데이터의 확장성 있고 비용 효율적인 처리를 가능하게 하여 뇌 연구 분야에서 고성능 컴퓨팅에의 접근성을 크게 향상시킨다.

ABSTRACT

The lack of computational power within an organization for analyzing scientific data, and the distribution of knowledge (by scientists) and technologies (advanced scientific devices) are two major problems commonly observed in scientific disciplines. One such scientific discipline is brain science. The analysis of brain activity data gathered from the MEG (Magnetoencephalography) instrument is an important research topic in medical science since it helps doctors in identifying symptoms of diseases. The data needs to be analyzed exhaustively to efficiently diagnose and analyze brain functions and requires access to large-scale computational resources. The potential platform for solving such resource intensive applications is the Grid. This paper describes a MEG data analysis system developed by us, leveraging Grid technologies, primarily Nimrod-G, Gridbus, and Globus. This paper explains the application of economy-based grid scheduling algorithms to the problem domain for on-demand processing of analysis jobs.

연구 동기 및 목표

• 일반적인 기관의 능력 이상으로 광범위한 처리 능력이 필요한 대규모 MEG 뇌 활동 데이터 분석의 계산적 병목 현상을 해결하기 위해.
• 뇌 과학 분야에서 과학적 전문 지식과 고급 장비가 지리적·기술적으로 분산되어 있는 문제를 해결하기 위해 글로벌 수준의 컴퓨팅 자원 접근성을 제공하기 위해.
• 그리드 컴퓨팅 인프라를 활용하여 확장 가능하고 경제적으로 효율적인 신경과학 데이터 처리 솔루션을 개발하기 위해.
• 수요 기반의 컴퓨팅 자원 접근성을 가능하게 하기 위해 그리드 시스템에 경제 기반 스케줄링을 통합하여 시간 민감도가 높은 뇌 활동 분석을 지원하기 위해.
• 특히 데이터 집약적인 신경과학 응용 분야에 대해 마켓 기반 자원 할당 모델이 과학 워크로드에 실제로 적용 가능한지 검증하기 위해.

제안 방법

• 전 세계 그리드 인프라에 걸쳐 MEG 데이터 분석 작업을 관리하고 분산 처리하기 위해 Nimrod-G 그리드 스케줄링 시스템을 활용하였다.
• 이질적인 컴퓨팅 환경 간의 상호운용성과 자원 관리를 가능하게 하기 위해 GridBus 미들웨어를 통합하였다.
• 보안성, 신뢰성, 확장성 있는 분산 컴퓨팅을 위한 기본 그리드 미들웨어로 Globus 툴킷을 활용하였다.
• 컴퓨팅 자원을 마켓 상품으로 모델링하여 수요에 따라 동적 가격 책정과 자원 할당이 가능한 경제 기반 스케줄링 알고리즘을 구현하였다.
• 과학자들이 필요에 따라 분석 작업을 제출할 수 있도록 하며, 가용성과 비용에 기반해 자동으로 컴퓨팅 자원을 할당하는 워크플로우를 설계하였다.
• 기본 미들웨어 스택 내에 내장된 그리드 네이티브 메커니즘을 통해 동적 로드 밸런싱과 장애 내성 기능을 구현하였다.

실험 결과

연구 질문

• RQ1 현지 컴퓨팅 자원이 부족한 상황에서 대규모 MEG 뇌 활동 데이터를 어떻게 효율적으로 처리할 수 있는가?
• RQ2 시장 기반 자원 할당 모델이 과학적 그리드 워크로드의 반응성과 비용 효율성에 어느 정도 향상시킬 수 있는가?
• RQ3 경제 기반 스케줄링을 갖춘 그리드 기반 시스템이 분산된 기관 간의 수요 기반 신경과학 데이터 분석을 효과적으로 지원할 수 있는가?
• RQ4 Nimrod-G, GridBus, Globus의 통합이 뇌 데이터 처리의 확장성과 신뢰성에 어떻게 기여하는가?
• RQ5 신경과학 분야의 과학적 컴퓨팅에 마켓 기반 모델을 사용할 경우 성능와 경제적 트레이드오프는 어떠한가?

주요 결과

• 제안된 시스템은 경제 기반 스케줄링을 통해 동적으로 자원을 할당함으로써 수요 기반 MEG 데이터 처리를 성공적으로 구현하였으며, 작업 대기 시간을 단축하고 자원 활용도를 향상시켰다.
• Nimrod-G, GridBus, Globus의 통합은 신경과학 데이터 분석의 계산적 요구를 충족시킬 수 있는 견고하고 상호운용성 있는 인프라를 제공하였다.
• 경제 기반 스케줄링 모델은 비용과 가용성에 따라 작업 우선순위를 정함으로써 마켓 기반 접근 방식을 모방한 자원 할당을 효율적으로 가능하게 하였다.
• 시스템은 단일 기관의 능력을 초월한 대규모 데이터 처리를 지원하는 분산 컴퓨팅 환경에서 확장성을 입증하였다.
• 과학자들이 현지 슈퍼컴퓨터 인프라가 없어도 작업을 제출할 수 있도록 하여 고성능 컴퓨팅에의 접근성을 크게 향상시켰다.
• 기술 보고서는 경제 모델을 과학적 그리드 워크로드에 적용할 수 있음을 확인하였으며, 특히 데이터 집약적인 분야인 신경과학 분야에 특히 유용하다.