[논문 리뷰] Predicting Dynamic Replication based on Fuzzy System in Data Grid

Mahnaz Khojand, Mehdi Fatan Serj외 2명|arXiv (Cornell University)|2018. 04. 09.

Distributed and Parallel Computing Systems참고 문헌 13인용 수 3

한 줄 요약

이 논문은 예측 기반 퍼지 복제(PFR)를 제안한다. PFR는 이력 사용, 파일 크기, 사이트 수준, 가용 스토리지 등을 바탕으로 향후 파일 액세스 패턴을 예측하고, 이를 바탕으로 최적의 사이트에 파일을 사전 복제하는 동적 복제 알고리즘이다. PFR는 사전 복제 및 불필요한 복제본 삭제를 통해 응답 시간을 향상시키고 자원 낭비를 줄여, 기존의 캐스케ading 방법보다 효율성이 뛰어나다.

ABSTRACT

Data grid replication is an effective method to achieve efficient and fault tolerant data access while reducing access latency and bandwidth consumption in grids. Since we have storage limitation, a replica should be created in the best site. Through evaluation of previously suggested algorithms, we understand that by blind creation of replications on different sites after each demand, we may be able to improve algorithm regarding response time. In practice, however, most of the created replications will never be used and existing resources in Grid will be wasted through the creation of unused replications. In this paper, we propose a new dynamic replication algorithm called Predictive Fuzzy Replication (PFR). PFR not only redefines the Balanced Ant Colony Optimization (BACO) algorithm, which is used for job scheduling in grids, but also uses it for replication in appropriate sites in the data grid. The new algorithm considers the history usage of files, files size, the level of the sites and free available space for replication and tries to predict future needs and pre replicates them in the resources that are more suitable or decides which replica should be deleted if there is not enough space for replicating. This algorithm considers the related files of the replicated file and replicates them considering their own history. PFR acts more efficiently than Cascading method, which is one of the algorithms in optimized use of existing replicas.

연구 동기 및 목표

• 반응형 복제에서 발생하는 자원 낭비 문제를 해결하기 위해, 즉 불필요한 복제본이 스토리지와 대역폭을 차지하는 문제를 해결한다.
• 예측된 수요를 바탕으로 사전에 복제본을 배치하여 응답 시간과 대역폭 소비를 줄인다.
• 스토리지가 제한된 상황에서 불필요한 복제본을 지능적으로 삭제하여 자원 낭비를 최소화한다.
• 예측 지능을 통합하여 기존의 캐스케ading 방법과 같은 복제 전략을 초월한다.
• 퍼지 논리와 균형 잡힌 개미 군집 최적화(BACO)를 조합한 하이브리드 접근법을 통해 복제본 배치 결정을 향상시킨다.

제안 방법

• PFR는 이력 파일 액세스 빈도, 파일 크기, 사이트 수준(우선도), 가용 자유 공간을 평가하기 위해 퍼지 추론 시스템을 사용한다.
• 시스템은 파일과 관련 파일의 향후 액세스 수요를 예측하여 사전 복제를 가능하게 한다.
• 입력 변수(사용 이력, 크기, 사이트 수준, 자유 공간)를 복제 스코어로 매핑하는 퍼지 논리 엔진을 사용해 복제 결정을 내린다.
• 알고리즘은 복제본 배치를 최적화하기 위해 BACO를 통합하여 부하를 균형 잡고 액세스 지연을 최소화한다.
• 파일 간의 종속성을 고려하여, 각 파일의 액세스 이력과 예측 수요를 기반으로 관련 파일을 복제한다.
• 스토리지가 부족할 경우, 액세스 가능성과 사이트 우선도를 기반으로 퍼지 시스템이 어떤 복제본을 삭제할지 결정한다.

실험 결과

연구 질문

• RQ1 데이터 그룹에서 동적 복제를 어떻게 개선하여 응답 시간과 대역폭 소비를 줄일 수 있는가?
• RQ2 향후 파일 액세스 패턴을 예측하고 사전 복제를 가능하게 하기 위해 어떤 요소를 고려해야 하는가?
• RQ3 퍼지 논리는 스토리지 제약, 파일 액세스 빈도, 사이트 능력 간의 상충 관계를 효과적으로 모델링할 수 있는가?
• RQ4 퍼지 논리와 BACO를 통합함으로써 기존 방법과 비교해 복제본 배치 결정이 어떻게 향상되는가?
• RQ5 제안된 PFR 알고리즘이 효율성과 자원 활용 측면에서 캐스케ading 복제 방법과 비교해 성능 면에서 어떻게 뛰어나게 되는가?

주요 결과

• PFR는 예측된 액세스 패턴에 기반해 고수요 사이트에 사전에 복제본을 배치함으로써 응답 시간을 단축시킨다.
• 알고리즘은 불필요한 복제본의 수를 크게 줄여 스토리지 낭비와 대역폭 오버헤드를 최소화한다.
• 특히 동적이고 고부하의 그룹 환경에서 PFR은 캐스케ading 방법보다 효율성이 뛰어나다.
• 퍼지 논리와 BACO의 통합은 더 지능적이고 적응적인 복제본 배치 결정을 가능하게 한다.
• 관련 파일과 그 액세스 이력을 고려함으로써 PFR은 상호의존 워크로드에 대한 데이터 가용성과 액세스 성능을 향상시킨다.
• 스토리지 제약 상황에서 낮은 잠재력의 복제본을 지능적으로 삭제함으로써 시스템은 스토리지 제약을 효과적으로 관리한다.