[논문 리뷰] A Distributed Agent Based System to Control and Coordinate Large Scale Data Transfers

Ciprian Dobre, Ramiro Voicu외 2명|arXiv (Cornell University)|2011. 06. 25.

Distributed systems and fault tolerance참고 문헌 1인용 수 8

한 줄 요약

이 논문은 광역망에서 대규모 데이터 전송을 모니터링하고 구성하며 조율하는 경량이며 분산형 에이전트 기반 시스템인 LISA를 제시한다. MonALISA 프레임워크의 일부로 개발된 LISA는 지역 및 전역적 의사결정을 통해 데이터 전송의 동적 최적화를 가능하게 하였으며, 고에너지 물리학 워크로드를 위한 고속 데이터 전송(Fast Data Transfer, FDT) 애플리케이션을 사용하여 슈퍼컴퓨팅 2006 밴드폭 챌린지 기간 동안 수백 대의 서버를 성공적으로 조율하였다.

ABSTRACT

We present a distributed agent based system used to monitor, configure and control complex, large scale data transfers in the Wide Area Network. The Localhost Information Service Agent (LISA) is a lightweight dynamic service that provides complete system and applications monitoring, is capable to dynamically configure system parameters and can help in optimizing distributed applications. As part of the MonALISA (Monitoring Agents in A Large Integrated Services Architecture) system, LISA is an end host agent capable to collect any type of monitoring information, to distribute them, and to take actions based on local or global decision units. The system has been used for the Bandwidth Challenge at Supercomputing 2006 to coordinate global large scale data transfers using Fast Data Transfer (FDT) application between hundreds of servers distributed on major Grid sites involved in processing High Energy Physics data for the future Large Hadron Collider experiments.

연구 동기 및 목표

• 광역망에서 지리적으로 분산된 시스템 간에 복잡한 대규모 데이터 전송을 조율하는 데 도전하는 문제를 해결하기 위해.
• 효율성과 신뢰성을 향상시키기 위해 데이터 전송 중 시스템 파라미터의 동적 구성 및 최적화를 가능하게 하기 위해.
• 실시간 모니터링과 의사결정을 수행할 수 있는 경량이며 확장 가능한 에이전트 아키텍처를 개발하기 위해.
• 특히 대형 하드론 충돌기 실험을 위해 고성능 데이터 전송을 지원하기 위해.
• 대규모 실전 환경에서 에이전트 기반 조율의 실현 가능성을 입증하기 위해.

제안 방법

• LISA는 각 참가 서버에 종단 호스트 에이전트로 배포되어 시스템 및 애플리케이션 수준의 모니터링 데이터를 수집할 수 있다.
• 시스템은 분산 아키텍처를 사용하며, 에이전트들이 중앙 집중식 모니터링 인fra를 통해 상태를 공유하고 행동을 조율한다.
• 실시간 네트워크 및 시스템 조건에 기반해 전송 파라미터의 동적 재구성 기능을 지원한다.
• 지역적 의사결정과 다수의 사이트 간 전역 조율을 가능하게 하기 위해 MonALISA 프레임워크와 통합된다.
• 고속 데이터 전송(Fast Data Transfer, FDT) 애플리케이션을 활용하여 광역망을 통해 고성능 데이터 전송을 달성한다.
• 에이전트들은 임계값 또는 정책 규칙에 기반한 이벤트 기반 메커니즘을 사용하여 데이터 흐름의 적응적 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 지리적으로 분산된 시스템 간에 대규모 데이터 전송을 효과적으로 모니터링하고 조율할 수 있는 분산형 에이전트 시스템은 어떻게 설계될 수 있는가?
• RQ2 고성능 데이터 전송 중 시스템 파라미터의 동적 구성은 어떤 메커니즘을 통해 가능해지는가?
• RQ3 지역적 및 전역적 의사결정의 통합이 광역망에서 전송 효율을 어떻게 향상시키는가?
• RQ4 수백 개의 동시 데이터 전송을 조율하는 데 있어 에이전트 기반 시스템의 확장성과 신뢰성은 어떠한가?
• RQ5 이러한 시스템은 고에너지 물리학 워크로드의 요구 수준 높은 데이터 전송 요구사항을 효과적으로 지원할 수 있는가?

주요 결과

• LISA는 슈퍼컴퓨팅 2006 밴드폭 챌린지 기간 동안 수백 대의 서버를 대상으로 대규모 데이터 전송을 성공적으로 조율하였다.
• 시스템은 이질적인 네트워크 환경에서 전송 대역폭과 신뢰성을 향상시키기 위해 데이터 전송 파라미터의 동적 최적화를 가능하게 하였다.
• 실전 규모의 실제 환경에서의 배포를 통해 에이전트 기반 아키텍처의 확장성과 적응성의 가능성을 입증하였다.
• FDT 애플리케이션과의 통합을 통해 최소한의 수동 개입으로 광역망을 통해 고성능 데이터 전송을 달성하였다.
• MonALISA 프레임워크는 지역 모니터링과 전역 조율을 모두 가능하게 하여 분산된 사이트 간 일관된 제어를 보장하였다.
• 실제 네트워크 조건 하에서 복잡한 대규모 데이터 전송을 효과적으로 관리함으로써, 이 시스템이 고성능 계산 워크로드에 적합한 설계임을 검증하였다.