[논문 리뷰] A Heuristic Approach to Protocol Tuning for High Performance Data Transfers

Engin Arslan, Tevfik Kosar|arXiv (Cornell University)|2017. 08. 17.

Advanced Data Storage Technologies참고 문헌 20인용 수 3

한 줄 요약

이 논문은 광역망에서 데이터 전송 처리량을 극대화하기 위해 응용 계층 프로토콜 파라미터—병렬성, 파이ipel라인, 동시성—에 대한 세 가지 동적 히ュ리스틱 알고리즘을 제안한다. 네트워크 및 시스템 조건에 따라 이러한 파라미터를 적응적으로 조정함으로써, 기준 설정보다 최대 10배 높은 처리량과 최신 기술 수준의 솔루션보다 7배 높은 처리량을 달성하며, 커널 수준의 변경 없이도 네트워크 활용도와 전송 효율성을 크게 향상시킨다.

ABSTRACT

Obtaining optimal data transfer performance is of utmost importance to today's data-intensive distributed applications and wide-area data replication services. Doing so necessitates effectively utilizing available network bandwidth and resources, yet in practice transfers seldom reach the levels of utilization they potentially could. Tuning protocol parameters such as pipelining, parallelism, and concurrency can significantly increase utilization and performance, however determining the best settings for these parameters is a difficult problem, as network conditions can vary greatly between sites and over time. Nevertheless, it is an important problem, since poor tuning can cause either under- or over-utilization of network resources and thus degrade transfer performance. In this paper, we present three algorithms for application-level tuning of different protocol parameters for maximizing transfer throughput in wide-area networks. Our algorithms dynamically tune the number of parallel data streams per file (for large file optimization), the level of control channel pipelining (for small file optimization), and the number of concurrent file transfers to increase I/O throughput (a technique useful for all types of files). The proposed heuristic algorithms improve the transfer throughput up to 10x compared to the baseline and 7x compared to the state of the art solutions.

연구 동기 및 목표

• 고속 인프라가 가용함에도 불구하고 지속적으로 네트워크 대역폭이 저하되는 문제를 해결하기 위해.
• 네트워크 및 시스템 조건에 따라 변화하는 병렬성, 파이ipel라인, 동시성과 같은 프로토콜 파라미터 설정 최적화의 과제를 극복하기 위해.
• 서버나 커널 수준의 수정 없이도 클라이언트 측에서 사용자 공간에서 동작하는 알고리즘 설계를 통해 전송 성능을 동적으로 최적화하기 위해.
• 작은 파일과 큰 파일이 혼합된 이질적인 데이터 세트에 대해 적응형 파라미터 추정 및 스케줄링을 통해 처리량을 향상시키기 위해.
• 고정된 비적응 설정을 사용하는 기존 솔루션들, 예를 들어 Globus Online과 비교하여 성능을 뛰어넘기 위해.

제안 방법

• 제안된 알고리즘은 대역폭 및 RTT 측정 값을 기반으로 파일당 병렬 데이터 스트림 수의 최적 값을 동적으로 추정한다.
• 제어 채널의 파이ipel라인 수준을 조정하기 위해 히ュ리스틱 접근 방식을 사용하며, 특히 작은 파일 전송에 유리하다.
• I/O 처리량과 다중 파일 전송 시 네트워크 자원 활용도를 균형 잡기 위해 동시성 수준을 적응적으로 조정한다.
• 관측된 전송 성능에 기반해 실시간으로 파라미터를 조정하는 피드백 기반의 온라인 튜닝 메커니즘을 사용한다.
• 공유되지 않는 채널을 지속적인 작은 파일 전송에 재할당하는 전략을 구현하여 유휴 시간을 최소화하고 전체 처리량을 향상시킨다.
• 실제 및 합성 데이터 세트를 사용하여 다양한 광역망 및 국지망 토폴로지에서 파일 크기 분포가 다른 조건에서 평가한다.

실험 결과

연구 질문

• RQ1 광역망에서 데이터 전송 처리량을 극대화하기 위해 병렬성, 파이ipel라인, 동시성과 같은 프로토콜 파라미터를 어떻게 동적으로 튜닝할 수 있는가?
• RQ2 파일 크기의 이질성이, 특히 작은 파일이 지배적인 데이터 세트에서 동적 파라미터 튜닝의 효과성에 어떤 영향을 미치는가?
• RQ3 Globus Online처럼 고정된 비적응 설정을 사용하는 시스템과 비교할 때, 적응형 파라미터 설정이 처리량과 네트워크 활용도 측면에서 어떻게 성능을 냅니다?
• RQ4 히ュ리스틱 기반의 파라미터 추정이 다양한 네트워크 조건과 시스템 구성에서 전송 성능 향상에 얼마나 기여할 수 있는가?
• RQ5 TCP 버퍼 크기는 어떤 식으로 처리량을 제한하는가? 동시성은 이러한 버퍼 관련 병목 현상을 어떻게 완화할 수 있는가?

주요 결과

• 제안된 알고리즘은 기준 설정 대비 최대 10배 높은 처리량을 달성하며, 최신 기술 수준의 솔루션인 Globus Online 대비 7배 높은 처리량을 기록한다.
• 다크 에너지 설문 조사 데이터 세트에서 MC 및 ProMC는 최대 8.6 Gbps를 달성하여 다른 방법들, 특히 고동시성 설정에서 뚜렷한 승리를 거두었다.
• 작은 파일이 지배적인 게놈 시퀀싱 데이터 세트에서는 MC 및 ProMC가 1.5–3.5 Gbps를 달성했으며, ProMC가 작은 파일 전송에 더 우수한 채널 할당 덕분에 MC 대비 최대 10% 높은 성능을 보였다.
• 국지망 실험에서는 Globus Online이 오직 500 Mbps에 머물렀지만, 제안된 알고리즘은 2 Gbps 이상을 달성하여 클라이언트-서버 통신 오버헤드로 인한 성능 격차를 명확히 드러냈다.
• 알고리즘은 병행성을 증가시킴으로써 최적화되지 않은 TCP 버퍼 크기의 영향을 효과적으로 완화하며, 누적적으로 할당된 버퍼 공간을 증가시켜 처리량을 향상시킨다.
• 다양한 네트워크 토폴로지와 파일 크기 분포에서 일관된 성능 향상이 관찰되어, 히ュ리스틱 튜닝 접근 방식의 강건성을 입증한다.