[논문 리뷰] Distributed Computing Economics

Jim Gray|ArXiv.org|2004. 03. 12.

Distributed and Parallel Computing Systems인용 수 30

한 줄 요약

이 논문은 계산, 스토리지, 네트워크 자원 간 현재의 가격 동등성을 활용하여 인터넷 규모의 분산 컴퓨팅에서 범주 전환을 제안한다. 즉, 약 100,000 명령어, 10바이트의 네트워크 트래픽, 10바이트의 디스크 스토리지, 1메가바이트의 디스크 대역폭에 대한 비용이 근사적으로 동일하다. 비용이 많이 드는 네트워크 전송을 최소화하기 위해, 이 논문은 계산을 데이터에 가능한 한 가까이 둘 것을 주장하며, 효율성을 극대화하기 위해 시스템 아키텍처를 근본적으로 재구성한다.

ABSTRACT

Computing economics are changing. Today there is rough price parity between (1) one database access, (2) ten bytes of network traffic, (3) 100,000 instructions, (4) 10 bytes of disk storage, and (5) a megabyte of disk bandwidth. This has implications for how one structures Internet-scale distributed computing: one puts computing as close to the data as possible in order to avoid expensive network traffic.

연구 동기 및 목표

• 인터넷 규모의 분산 컴퓨팅 시스템에서의 변화하는 경제적 트레이드오프를 분석하기 위해.
• 핵심 계산 자원인 데이터베이스 액세스, 네트워크 트래픽, 명령어, 디스크 스토리지, 디스크 대역폭 간 현재의 가격 동등성을 규명하기 위해.
• 비용이 많이 드는 네트워크 통신을 최소화함으로써 분산 시스템의 아키텍처 결정을 이끌기 위해.
• 네트워크 오버헤드를 줄이기 위해 데이터 근접 계산으로의 설계 철학 전환을 제안하기 위해.
• 대규모 분산 환경에서의 시스템 설계를 위한 정량적 기반을 제공하기 위해.

제안 방법

• 데이터베이스 액세스, 10바이트의 네트워크 트래픽, 100,000개의 명령어, 10바이트의 디스크 스토리지, 1메가바이트의 디스크 대역폭를 포함한 다섯 가지 핵심 시스템 자원 간의 비용 등가 모델 수립.
• 초기 2000년대의 실증적 비용 데이터를 활용하여 이 다양한 컴퓨팅 및 네트워킹 작업 간의 근사적 가격 동등성을 유도하기 위해.
• 네트워크 전송을 가장 비싼 운영으로 간주하여 분산 시스템 설계에 경제적 추론 적용.
• 계산을 데이터와 함께 공유함으로써 네트워크 트래픽을 최소화하는 아키텍처 패턴 권장.
• 미세소프트 리서치의 내부 비용 데이터와 업계 추세를 활용하여 경제 모델의 타당성 검증.
• 비용 최소화를 기반으로 한 설계 원칙 수립: 원격 액세스보다 데이터 근접 계산을 우선시.

실험 결과

연구 질문

• RQ1 분산 컴퓨팅의 기본 운영, 예를 들어 데이터베이스 액세스, 네트워크 전송, 디스크 I/O의 상대적 비용은 현재 얼마인가?
• RQ2 계산, 스토리지, 네트워크 자원 간의 가격 동등성이 시스템 아키텍처 결정에 어떻게 영향을 미치는가?
• RQ3 네트워크 대역폭이 가장 비싼 자원일 경우 총 시스템 비용을 최소화하는 아키텍처 전략은 무엇인가?
• RQ4 계산을 데이터에 더 가까이 이동시킴으로써 성능과 확장성은 어느 정도 향상될 수 있는가?
• RQ5 경제 원칙은 어떻게 체계적으로 확장 가능하고 비용 효율적인 분산 시스템 설계에 적용될 수 있는가?

주요 결과

• 데이터베이스 액세스 1건, 네트워크 트래픽 10바이트, 명령어 100,000개, 디스크 스토리지 10바이트, 디스크 대역폭 1메가바이트 간에 근사적인 가격 동등성이 존재한다.
• 네트워크 트래픽은 단위당 가장 비싼 운영이므로, 분산 시스템에서 최적화의 주요 대상이 된다.
• 비용 등가성은 네트워크 전송을 최소화할 경우 성능 및 비용 측면에서 가장 큰 이점을 얻을 수 있음을 암시한다.
• 인터넷 규모의 시스템에서 총 시스템 비용을 최소화하기 위해 계산을 데이터에 가능한 한 가까이 두 것이 최적의 전략이다.
• 이 경제 모델은 데이터 근접 계산을 원격 액세스보다 우선시하는 시스템 설계에 정량적 기반을 제공한다.
• 이러한 발견들은 분산 시스템 아키텍처를 데이터 중심 계산으로의 근본적 전환을 지지한다.