[논문 리뷰] A Taxonomy of Data Grids for Distributed Data Sharing, Management and Processing

Srikumar Venugopal, Rajkumar Buyya외 1명|ArXiv.org|2005. 06. 10.

Distributed and Parallel Computing Systems참고 문헌 79인용 수 5

한 줄 요약

이 논문은 데이터 그리드의 아키텍처, 데이터 운반, 복제 및 자원 할당/스케줄링을 분류하는 종합적인 분류 체계를 제안한다. 데이터 그리드를 피어 투 피어 네트워크, 콘텐츠 배포 네트워크, 분산 데이터베이스와 구분하며, 기존 시스템을 평가하고 향후 데이터 집약적 과학 계산 분야의 연구 격차를 식별하기 위한 체계적인 프레임워크를 제공한다.

ABSTRACT

Data Grids have been adopted as the platform for scientific communities that need to share, access, transport, process and manage large data collections distributed worldwide. They combine high-end computing technologies with high-performance networking and wide-area storage management techniques. In this paper, we discuss the key concepts behind Data Grids and compare them with other data sharing and distribution paradigms such as content delivery networks, peer-to-peer networks and distributed databases. We then provide comprehensive taxonomies that cover various aspects of architecture, data transportation, data replication and resource allocation and scheduling. Finally, we map the proposed taxonomy to various Data Grid systems not only to validate the taxonomy but also to identify areas for future exploration. Through this taxonomy, we aim to categorise existing systems to better understand their goals and their methodology. This would help evaluate their applicability for solving similar problems. This taxonomy also provides a "gap analysis" of this area through which researchers can potentially identify new issues for investigation. Finally, we hope that the proposed taxonomy and mapping also helps to provide an easy way for new practitioners to understand this complex area of research.

연구 동기 및 목표

• 데이터 그리드를 피어 투 피어 네트워크, 콘텐츠 배포 네트워크, 분산 데이터베이스와 같은 유사한 패러다임과 체계적으로 구분하고 특성화하기.
• 데이터 그리드의 아키텍처, 데이터 운반, 복제, 자원 할당/스케줄링을 포함한 다차원 분류 체계를 개발하기.
• 기존 데이터 그리드 시스템에 분류 체계를 적용하여 타당성과 완전성을 검증하고 현재 연구 및 시스템 설계의 격차를 식별하기.
• 연구자와 전문가가 데이터 그리드 기술을 이해하고 비교 및 평가할 수 있도록 체계적인 참고 자료를 제공하기.
• 데이터 집약적 분산 계산 분야에서 해결되지 않은 문제와 충족되지 않은 요구사항을 강조하여 향후 연구를 이끌기.

제안 방법

• 시스템 아키텍처, 데이터 운반 메커니즘, 데이터 복제 전략, 자원 할당 및 스케줄링 정책의 네 핵심 차원을 포함한 다층 분류 체계를 제안한다.
• 데이터 접근 패턴, 신뢰 모델, 성능 요구사항의 차이를 강조하여 데이터 그리드와 다른 데이터 배포 모델을 비교 분석한다.
• 제안된 분류 체계에 따라 대표적인 데이터 그리드 시스템(Globus, EGEE, DataTAG 등)을 분류하여 적용 가능성과 완전성을 검증한다.
• QoS, 액세스 제어, 작업 스케줄링 정책과 같은 사용자 중심 요구사항을 분류 체계에 통합하여 실제 과학 작업 하중을 반영한다.
• 기존 서베이 및 시스템 설계의 통찰을 통합하여 분류 체계가 현재의 관행과 기술 트렌드를 반영하도록 보장한다.
• 스케일러빌리티, 상호운용성, 데이터 유지보수성 분야에서 미충족된 영역을 식별하기 위해 격차 분 析를 수행한다.

실험 결과

연구 질문

• RQ1 데이터 접근, 신뢰, 성능 측면에서 데이터 그리드가 피어 투 피어 네트워크, 콘텐츠 배포 네트워크, 분산 데이터베이스와 근본적으로 어떻게 다를까?
• RQ2 기타 분산 데이터 시스템과 대비될 때 데이터 그리드를 정의하는 주요 아키텍처적 및 운영적 특성은 무엇인가?
• RQ3 데이터 그리드의 데이터 운반, 복제, 자원 스케줄링는 어떻게 체계적으로 분류하고 비교할 수 있는가?
• RQ4 제안된 분류 체계에 기반해 기존 데이터 그리드 시스템을 매핑했을 때 나타나는 제약과 격차는 무엇인가?
• RQ5 이 분류 체계는 데이터 집약적 과학 계산 분야에서 스케일러빌리티, 상호운용성, 데이터 유지보수성 향상에 있어 향후 연구를 어떻게 이끌 수 있는가?

주요 결과

• 데이터 그리드는 여러 행정 도메인에 걸쳐 분산된 이질적 자원을 활용하는 대규모, 계산 집약적인 과학 작업을 지원하는 데 특징지어진다.
• 분류 체계는 Globus, EGEE, DataTAG와 같은 주요 데이터 그리드 시스템을 성공적으로 매핑하고 분류하여 시스템 비교 및 평가에 유용성을 입증한다.
• 현재 자원 할당 및 스케줄링 분야의 연구는 주로 마이크스팬 최소화에 집중하고 있으나, 사용자 정의된 QoS 및 비용 인식 스케줄링으로 점차 이행되고 있다.
• 분류 체계는 상호운용성, 데이터 유지보수성, 자율 조직화 분야의 심각한 격차를 드러내며 향후 연구의 핵심 영역을 시사한다.
• 시장 기반 및 커뮤니티 기반 스케줄링 모델이 등장하고 있으며, 이는 비용, 성능, 사용자 정의 QoS 제약을 균형 있게 고려하는 고급 알고리즘이 필요하다.
• 수익과 사용자 정의 서비스 수준을 기반으로 하는 유틸리티 함수의 통합은 차세대 데이터 그리드 스케줄링을 위해 필수적이다.