[논문 리뷰] Performance evaluation of the GridFTP within the NorduGrid project

M. Ellert, Александр Константинов외 3명|ArXiv.org|2002. 05. 14.

Distributed and Parallel Computing Systems참고 문헌 1인용 수 5

한 줄 요약

이 논문은 노르두그리드 인fra에서 다중 스레드 기반의 그리드FTP 성능을 평가하여, 고속 WAN 링크를 통해 단일 스레드 FTP 대비 600–800% 향상된 데이터 전송 속도를 달성할 수 있음을 입증한다. 고속 WAN 링크를 통해 글로버스 툴킷의 그리드FTP를 활용한 연구는 병렬 스트림이 고용량 네트워크에서 특히 전송 효율을 크게 향상시킴을 확인하였으며, 최대 100개의 동시 스레드까지 안정적인 성능을 유지함을 보였다.

ABSTRACT

This report presents results of the tests measuring the performance of multi-threaded file transfers, using the GridFTP implementation of the Globus project over the NorduGrid network resources. Point to point WAN tests, carried out between the sites of Copenhagen, Lund, Oslo and Uppsala, are described. It was found that multiple threaded download via the high performance GridFTP protocol can significantly improve file transfer performance, and can serve as a reliable data

연구 동기 및 목표

• 실제 노르두그리드 인프라에서 여러 노르웨이·스칸디나비아 지역 사이트를 대상으로 글로버스 그리드FTP 프로토콜의 성능을 평가한다.
• 표준 FTP 및 단일 스레드 그리드FTP 대비 다중 스레드 데이터 전송이 전송 속도에 얼마나 큰 영향을 미치는지 평가한다.
• 실제 운영 조건에서 그리드FTP 성능에 영향을 미치는 네트워크 및 하드웨어 병목 현상을 규명한다.
• 고병렬 환경에서 그리드FTP의 알파 릴리스 버전의 신뢰성과 안정성을 테스트한다.
• 제3자(서버 간) 전송 기능과 성능 확장성의 성능을 평가한다.

제안 방법

• 코펜하겐, 룬드, 오슬로, 어프살라의 네 곳의 노르두그리드 사이트 간에 점대점 WAN 전송을 실시하였으며, globus-url-copy 클라이언트와 gsi-wuftpd 그리드FTP 서버를 사용하였다.
• 10 Mbit/s에서 1 Gbit/s까지 다양한 링크 속도와 홉 수가 다른 여러 네트워크 경로에서 100 MB 파일의 전송 속도를 측정하였다.
• 스레드 수를 1에서 32까지 변화시켜 성능 확장성 평가를 수행하였으며, 시스템 설정 조정 없이 기본 TCP 설정을 사용하였다.
• 제어 서버(코펜하겐)가 룬드와 어프살라의 원격 서버 간 직접 데이터 이동을 조율하는 제3자 전송을 수행하였다.
• 특히 100개 이상의 스레드를 사용할 경우 성능을 모니터링하며 안정성과 신뢰성을 평가하였다.
• 글로버스 툴킷™ 1.1.3b14와 그리드FTP 알파-4 릴리스를 사용하였으며, GSI 인증 및 병렬 전송 기능을 활성화하였다.

실험 결과

연구 질문

• RQ1 고속 WAN 링크에서 단일 스레드 FTP 및 그리드FTP 대비 다중 스레드 그리드FTP가 데이터 전송 성능에 얼마나 기여하는가?
• RQ2 네트워크 지연, 대역폭, 하드웨어 구성(예: LAN 속도)이 그리드FTP의 전송 속도와 확장성에 미치는 영향은 어떠한가?
• RQ3 제3자 그리드FTP 전송은 직접 전송과 비교해 유사한 성능을 달성할 수 있으며, 스레드 수 증가에 따라 어떻게 확장되는가?
• RQ4 고병렬 스레드 수를 사용할 경우 알파 릴리스의 그리드FTP가 안정성에 어떤 한계를 보이는가?
• RQ5 병렬 스트림 사용이 고대역폭·장거리 전송 환경에서 TCP 버퍼 조정이 필요 없음을 보장하는가?

주요 결과

• 다중 스레드 그리드FTP는 단일 스레드 전송 대비 600–800% 향상된 성능을 보였으며, 32개 스레드를 사용할 경우 룬드–코펜하겐 링크에서 전송 속도가 약 7 Mbit/s에서 약 30 Mbit/s로 증가하였다.
• 15개의 라우터 홉을 거치는 룬드–코펜하겐 링크에서도 32개 병렬 스레드를 사용할 경우 최대 30 Mbit/s의 전송 속도를 기록하여 가용 대역폭을 효과적으로 활용함을 입증하였다.
• 코펜하겐을 제어 서버로 삼아 룬드와 어프살라 간 제3자 전송은 32개 스레드를 사용할 경우 50–55 Mbit/s의 전송 속도를 기록하였으며, 직접 전송과 동등한 성능을 달성하였다.
• 오슬로 사이트의 10 Mbit/s LAN은 심각한 병목 현상이었으며, 병렬 스레드를 사용해도 성능이 이론적 최대치 근처에 머물러 있었다.
• 100개 이상의 병렬 스레드를 사용할 경우 빙빙된 시작 단계와 최종 데이터 확보 단계에서 재시작 문제가 발생하여 고병렬 환경에서 신뢰성에 문제가 있음을 확인하였다.
• 알파 릴리스임에도 불구하고 일반적인 워크로드에서는 안정적인 성능을 보였으며, 극단적인 스레드 수에서만 미세한 불안정성이 관찰되었다.