[논문 리뷰] A Checkpoint Storage System for Desktop Grid Computing

Samer Al-Kiswany, Matei Ripeanu외 1명|arXiv (Cornell University)|2007. 06. 25.

Distributed and Parallel Computing Systems인용 수 6

한 줄 요약

이 논문은 데스크톱 그룹 컴퓨팅을 위한 저비용 체크포인트 저장 시스템인 stdchk를 제안한다. 이 시스템은 참가하는 데스크톱의 버려진 디스크 공간을 활용하여 고성능이고 장애에 강한 체크포인팅을 제공한다. 전통적인 파일 시스템 인터페이스를 통해 체크포인트 관리를 추상화하고, 누적 저장 및 데이터 가용성 최적화를 통해 기존 파일 시스템의 부담을 줄이며, 저장 및 네트워크 오버헤드를 최소화하고 분산 환경에서 높은 쓰기 스루풋을 달성한다.

ABSTRACT

Abstract — Checkpointing is an indispensable technique to provide fault tolerance for long-running high-throughput applications like those running on desktop grids. This article argues that a checkpoint storage system, optimized to operate in these environments, can offer multiple benefits: reduce the load on a traditional file system, offer high-performance through specialization, and, finally, optimize data management by taking into account checkpoint application semantics. Such a storage system can present a unifying abstraction to checkpoint operations, while hiding the fact that there are no dedicated resources to store the checkpoint data. We prototype stdchk, a checkpoint storage system that uses scavenged disk space from participating desktops to build a low-cost storage system, offering a traditional file system interface for easy integration with applications. This article presents the stdchk architecture, key performance optimizations, and its support for incremental checkpointing and increased data availability. Our evaluation confirms that the stdchk approach is viable in a desktop grid setting and offers a low-cost storage system with desirable performance characteristics: high write throughput as well as reduced storage space and network effort to save checkpoint images. I.

연구 동기 및 목표

• 장시간 실행되는 데스크톱 그룹 응용 프로그램에서의 장애 내성 문제를 해결하기 위해 전용 체크포인트 저장 시스템을 설계한다.
• 빈번한 체크포인팅 작업으로 인해 기존 파일 시스템에 발생하는 성능 및 자원 부담을 줄인다.
• 누적 체크포인팅 및 데이터 가용성 향상과 같은 응용 프로그램 의미론을 활용하여 데이터 관리를 최적화한다.
• 전용 저장 자원이 없는 상황에서도 기존 응용 프로그램과의 통합을 용이하게 하기 위해 전통적인 파일 시스템 추상화를 통한 통합 인터페이스를 제공한다.

제안 방법

• 그리드 내 데스크톱 노드의 사용하지 않는 디스크 공간을 취합하여 분산된 체크포인트 저장 시스템인 stdchk를 설계한다.
• 기존 응용 프로그램 및 도구와의 원활한 통합을 위해 전통적인 파일 시스템 인터페이스를 구현한다.
• 데스크톱 그룹 워크로드의 특성에 맞는 성능 최적화를 적용한다. 이는 고속 쓰기 스루풋과 효율적인 데이터 레이아웃을 포함한다.
• 변경된 데이터만 저장함으로써 저장 및 네트워크 오버헤드를 최소화하는 누적 체크포인팅을 지원한다.
• 그리드의 저장 노드 간 복제 또는 분산 전략을 통해 데이터 가용성을 향상시킨다.
• 기본 데이터 배치 및 검색 메커니즘을 추상화하여 분산 저장의 복잡성을 숨긴다.

실험 결과

연구 질문

• RQ1 버려진 데스크톱 디스크 공간으로 구성된 분산 체크포인트 저장 시스템이 고처리량, 장시간 실행되는 응용 프로그램을 효과적으로 지원할 수 있는가?
• RQ2 기존 체크포인팅 대비 이 시스템이 기존 파일 시스템의 부담을 어느 정도 줄일 수 있는가?
• RQ3 누적 체크포인팅을 사용할 경우 시스템의 쓰기 스루풋, 저장 공간 효율성, 네트워크 효율성 측면에서 성능은 어떠한가?
• RQ4 전용 저장 인프라 없이도 시스템이 높은 데이터 가용성과 장애 내성을 유지할 수 있는가?

주요 결과

• stdchk는 체크포인트 저장을 분산된 버려진 저장 풀로 이관시킴으로써 기존 파일 시스템의 부담을 성공적으로 줄였다.
• 시스템은 고속 쓰기 스루풋을 달성하여 성능 집약적인 데스크톱 그룹 워크로드에 대한 타당성을 입증했다.
• 누적 체크포인팅은 저장 공간 소비와 네트워크 전송 오버헤드를 모두 크게 줄였다.
• 복제 또는 분산 전략을 통해 데이터 가용성이 향상되어 전용 저장 자원이 없는 환경에서도 장애 내성을 강화했다.
• 전통적인 파일 시스템 인터페이스 덕분에 기존 응용 프로그램과 투명하게 통합되어 구현 시 부담을 최소화했다.