[논문 리뷰] stdchk: A Checkpoint Storage System for Desktop Grid Computing

Samer Al Kiswany, Matei Ripeanu외 2명|arXiv (Cornell University)|2007. 06. 25.

Advanced Data Storage Technologies참고 문헌 21인용 수 5

한 줄 요약

이 논문은 데스크톱 그룹 컴퓨팅 환경에서 고성능, 고신뢰성 장애 복구를 가능하게 하기 위해 참가하는 데스크톱의 버려진 디스크 공간을 활용하는 저비용 체크포인트 저장 시스템인 stdchk를 제안한다. 전통적인 파일 시스템 인터페이스를 제공하고 증분 체크포인팅 및 데이터 가용성 최적화를 통해 기존 파일 시스템의 부담을 줄이며, 쓰기 처리량을 향상시키고 저장 및 네트워크 오버헤드를 최소화한다.

ABSTRACT

Checkpointing is an indispensable technique to provide fault tolerance for long-running high-throughput applications like those running on desktop grids. This paper argues that a dedicated checkpoint storage system, optimized to operate in these environments, can offer multiple benefits: reduce the load on a traditional file system, offer high-performance through specialization, and, finally, optimize data management by taking into account checkpoint application semantics. Such a storage system can present a unifying abstraction to checkpoint operations, while hiding the fact that there are no dedicated resources to store the checkpoint data. We prototype stdchk, a checkpoint storage system that uses scavenged disk space from participating desktops to build a low-cost storage system, offering a traditional file system interface for easy integration with applications. This paper presents the stdchk architecture, key performance optimizations, support for incremental checkpointing, and increased data availability. Our evaluation confirms that the stdchk approach is viable in a desktop grid setting and offers a low cost storage system with desirable performance characteristics: high write throughput and reduced storage space and network effort to save checkpoint images.

연구 동기 및 목표

• 장시간 실행되는 고처리량 데스크톱 그룹 애플리케이션에서 효율적인 장애 복구의 증가하는 필요를 해결한다.
• 데스크톱 그룹 환경에서 공유 파일 시스템에 전통적인 체크포인팅이 가하는 성능 및 자원 부담을 줄인다.
• 애플리케이션 의미 체계와 데이터 관리에 최적화된 전용, 저비용 체크포인트 저장 시스템을 설계한다.
• 응용 프로그램에 대해 통합적이고 쉽게 통합할 수 있는 인터페이스를 제공하면서 전용 저장 자원의 부재를 추상화한다.
• 지능적인 체크포인팅 관리로 데이터 가용성을 향상시키고 네트워크 및 저장 오버헤드를 줄인다.

제안 방법

• 데스크톱 노드의 미사용 디스크 공간을 집계하여 분산형 저비용 저장 풀을 형성하는 체크포인트 저장 시스템인 stdchk를 설계한다.
• 기존 애플리케이션과의 원활한 통합을 위해 전통적인 파일 시스템 인터페이스를 노출시킨다. 코드 수정 없이도 가능하다.
• 높은 쓰기 처리량과 급격한 접근 패턴과 같은 데스크톱 그룹 워크로드의 특성에 맞는 성능 최적화를 구현한다.
• 변경된 데이터 블록만 추적하고 저장함으로써 증분 체크포인팅을 지원하여 저장 및 네트워크 오버헤드를 줄인다.
• 버전 관리 및 유지 정책과 같은 체크포인팅 의미 체계를 고려한 데이터 관리 전략을 적용하여 효율성과 가용성을 향상시킨다.
• 신뢰성이 떨어지는 데스크톱 자원에도 불구하고 데이터 가용성을 높이기 위해 복제 및 중복 기법을 적용한다.

실험 결과

연구 질문

• RQ1 버려진 데스크톱 디스크 공간으로 구성된 체크포인트 저장 시스템이 데스크톱 그룹 환경에서 수용 가능한 성능과 신뢰성을 달성할 수 있는가?
• RQ2 기존의 체크포인팅 접근 방식과 비교해 복잡한 시스템의 부담을 얼마나 줄일 수 있는가?
• RQ3 이 환경에서 증분 체크포인팅이 저장 및 네트워크 사용을 최소화하는 데 얼마나 효과적인가?
• RQ4 분산형이고 신뢰성이 떨어지는 저장 풀 위에 통합된 파일 시스템 유사 인터페이스를 효과적으로 추상화할 수 있는가?
• RQ5 체크포인팅에서 전문화 및 의미 인식 기반 데이터 관리로 인한 성능 및 자원 절감은 어느 정도 이루어지는가?

주요 결과

• stdchk는 전용으로 최적화된 시스템에 체크포인트 저장을 이관함으로써 기존 파일 시스템의 부담을 성공적으로 줄였다.
• 데스크톱 그룹 환경의 특성에 맞춘 성능 최적화 덕분에 높은 쓰기 처리량을 달성했다.
• 증분 체크포인팅은 체크포인트 이미지를 저장하는 데 필요한 저장 공간과 네트워크 노력 양쪽 모두를 크게 줄였다.
• 복제 및 중복 메커니즘을 통해 신뢰성이 떨어지는 데스크톱 자원을 사용함에도 불구하고 데이터 가용성이 향상되었다.
• 프로토타입은 실제 데스크톱 그룹 환경에서의 가용성을 입증하여 저비용, 고성능 체크포인팅 솔루션의 실현 가능성을 확인했다.
• 기존 파일 시스템 인터페이스 덕분에 기존 애플리케이션과의 투명한 통합이 가능해져 구현 시 부담을 최소화했다.