[논문 리뷰] A data Grid testbed environment in Gigabit WAN with HPSS

A. Manabe, Kohki Ishikawa외 12명|ArXiv.org|2003. 06. 12.

Distributed and Parallel Computing Systems참고 문헌 1인용 수 3

한 줄 요약

이 논문은 1Gbps 네트워크를 통해 ICEPP와 KEK를 연결하는 고성능 데이터 그리드 테스트베드를 제시하며, LHC 타이어 데이터의 확장 가능한 스토리지 솔루션으로 HPSS를 통합한다. NorduGrid 미들웨어와 GSI 기반 pftp를 사용하여 고속 WAN에서 HPSS 성능을 평가한 결과, 지연 시간으로 인해 WAN 액세스 속도가 LAN 속도의 약 절반에 그치며, pftpd와 디스크 무빙이 별도의 호스트에 분리되어 있을 경우 아키텍처적 병목 현상이 발생하는 것을 확인하였다.

ABSTRACT

For data analysis of large-scale experiments such as LHC Atlas and other Japanese high energy and nuclear physics projects, we have constructed a Grid test bed at ICEPP and KEK. These institutes are connected to national scientific gigabit network backbone called SuperSINET. In our test bed, we have installed NorduGrid middleware based on Globus, and connected 120TB HPSS at KEK as a large scale data store. Atlas simulation data at ICEPP has been transferred and accessed using SuperSINET. We have tested various performances and characteristics of HPSS through this high speed WAN. The measurement includes comparison between computing and storage resources are tightly coupled with low latency LAN and long distant WAN.

연구 동기 및 목표

• HPSS를 확장 가능한 스토리지 솔루션으로 사용하여 대규모 헤비 히스토리컬 물리학(High-Energy Physics, HEP) 데이터 처리를 위한 고속 그리드 테스트베드를 구축한다.
• 고속 WAN(SuperSINET)에서 HPSS 성능을 로컬 LAN 조건과 비교하여 평가한다.
• GSI 기반 pftp를 통해 그리드 환경에서 안전하고 확장 가능한 데이터 액세스를 위한 그리드 보안 인fra스트럭처(GSI)를 HPSS에 통합한다.
• 특히 pftpd와 디스크 무빙이 별도의 호스트에 있을 경우 발생하는 HPSS 데이터 전송의 성능 병목 현상을 규명한다.
• GSI 기반 pftp를 HPSS-그리드 통합을 위한 일시적 솔루션으로서의 실현 가능성과 성능을 평가한다.

제안 방법

• ICEPP와 KEK 간 1Gbps 이더넷을 사용하여 SuperSINET을 통해 연결된 그리드 테스트베드를 구축하였으며, NorduGrid 미들웨어를 배포하였다.
• KEK에 120TB HPSS를 중앙 집중식 스토리지 시스템으로 통합하였으며, 디스크 무빙 및 테이프 무빙를 사용하여 HPSS 4.3과 pftp를 통해 데이터 액세스를 수행하였다.
• TCP 대역폭과 지연 시간을 측정하기 위해 netperf를 사용하였고, 파일 전송 속도 측정을 위해 HPSS 클라이언트 API를 활용한 종단 간 성능 측정을 실시하였다.
• LBNL에서 제공하는 GSI 기반 pftp를 사용하여 HPSS에 그리드 호환 인터페이스를 평가하였으며, 표준 pftp 및 GridFTP와의 성능을 비교하였다.
• 2GB 파일을 사용하여 LAN과 WAN 간 전송 성능을 측정하였으며, 버퍼 크기, 병렬 세션 수, 데이터 경로 구성 등을 변화시켜가며 분석하였다.
• 클라이언트, 디스크 무빙, pftpd 서버 간의 통신 패턴을 분석하여 데이터 흐름에서 발생하는 성능 병목 현상을 규명하였다.

실험 결과

연구 질문

• RQ1 고속 그리드 환경에서 WAN 지연 시간은 LAN 조건과 비교해 HPSS 데이터 전송 성능에 어떤 영향을 미치는가?
• RQ2 그리드 환경에서 GSI 기반 pftp를 사용할 경우 표준 pftp와 비교해 HPSS 액세스 성능에 어떤 영향을 미치는가?
• RQ3 pftpd 서버와 디스크 무빙가 별도의 호스트에 분리되어 있을 경우 종단 간 데이터 전송 스루풋에 어떤 영향을 미치는가?
• RQ4 1Gbps WAN에서 동시 다중 스트림 전송 조건에서 HPSS의 확장성 한계는 무엇인가?
• RQ5 GSI 기반 pftp는 HPSS와 그리드 인fra구조를 통합하기 위한 실용적인 일시적 솔루션으로 기능할 수 있는가?

주요 결과

• WAN에서 HPSS pftp 및 클라이언트 API를 사용한 액세스 속도는 RTT(Round-Trip Time)가 3–4ms이기 때문에 LAN 속도의 약 절반에 그쳤으며, 패킷 손실률이 0.1% 미만으로 매우 낮았음에도 불구하고 그러한 영향을 받았다.
• TCP 버퍼 크기가 0.5MB를 초과하면 네트워크 대역폭이 포화 상태에 도달하였으며, 1MB 이상으로 버퍼 크기를 늘려도 성능 향상이 없었다.
• 최대 4개의 병렬 TCP 스트림을 사용할 경우 버퍼 크기가 100KB 이하일 때까지 스루풋 향상을 보였지만, 버퍼 크기가 1MB를 초과하면 병렬 스트림의 총합 성능 향상이 더 이상 없었다.
• GSI 기반 pftp는 단일 스트림 환경에서는 표준 pftp와 동일한 전송 시간을 기록했지만, pftpd와 디스크 무빙가 별도의 호스트에 있을 경우 두 번의 네트워크 홉으로 인해 전송 속도가 절반으로 감소하였다.
• GSI 기반 pftp의 데이터 경로는 표준 pftp와 달리 직접적인 경로(client → 디스크 무빙)가 아니라 두 번의 네트워크 홉을 거치는 방식(pftpd → 클라이언트)이었으며, 이로 인해 성능 저하가 발생하였다.
• HPSS 5.1의 pdata-push 프로토콜은 프로토콜 핸드셰이크 지연 시간을 줄여 성능 향상을 기대할 수 있으나, 테스트 환경에서는 아직 사용 가능하지 않았다.