[논문 리뷰] Tycoon: an Implementation of a Distributed, Market-based Resource Allocation System

Kevin Lai, Lars Rasmusson외 4명|arXiv (Cornell University)|2004. 12. 08.

Distributed and Parallel Computing Systems참고 문헌 27인용 수 23

한 줄 요약

Tycoon는 대규모 클러스터에서 저지연, 경제적으로 효율적인 계산 자원 할당을 가능하게 하는 분산형, 시장 기반 자원 할당 시스템을 제안한다. 지속적인 사용자 기반 입찰를 통해 실시간 상호작용과 분리된 입찰를 구현하고 현지 경매업자를 활용함으로써, 고부하 상황에서도 30초 이내 자원 재할당을 달성하고 5% 이하의 오버헤드를 유지한다. 또한 신용 기반 입찰를 통해 진정성 있는 평가를 장려한다.

ABSTRACT

Distributed clusters like the Grid and PlanetLab enable the same statistical multiplexing efficiency gains for computing as the Internet provides for networking. One major challenge is allocating resources in an economically efficient and low-latency way. A common solution is proportional share, where users each get resources in proportion to their pre-defined weight. However, this does not allow users to differentiate the value of their jobs. This leads to economic inefficiency. In contrast, systems that require reservations impose a high latency (typically minutes to hours) to acquire resources. We present Tycoon, a market based distributed resource allocation system based on proportional share. The key advantages of Tycoon are that it allows users to differentiate the value of their jobs, its resource acquisition latency is limited only by communication delays, and it imposes no manual bidding overhead on users. We present experimental results using a prototype implementation of our design.

연구 동기 및 목표

• 그리드 및 PlanetLab과 같은 분산 시스템에서 비례 할당 및 예약 기반 자원 할당의 비효율성을 해결하기 위해.
• 시장 기반 시스템에서 빈번한 상호작용 기반 입찰가 요구되는 사용자 부담을 줄이면서도 저지연 자원 확보를 유지하기 위해.
• 중앙 집중식 시장에 의존하는 것 대신 호스트에 분산된 경매업자를 통해 확장성과 신뢰성을 향상시키기 위해.
• 수동 조작이나 고지연 입찰 주기를 요구하지 않고도 사용자가 자신의 작업에 대해 다양한 평가를 표현할 수 있도록 하기 위해.
• 지속적인 입찰와 최적 반응 알고리즘을 통해 실제 클러스터 환경에서 효율적이고 확장 가능하며 오버헤드가 적은 자원 할당이 가능함을 입증하기 위해.

제안 방법

• 각 호스트는 리눅스 VServers를 사용해 가상화된 CPU 자원을 관리하는 현지 경매업자 프로세스를 실행하며, 경매업자 장애 발생 시에도 장애 내성 확보가 가능하다.
• 사용자는 (호스트, 자원, 신용, 시간 간격) 형태의 지속적 입찰를 제출하며, 취소되거나 자금이 소진될 때까지 유효하다.
• 자원 할당은 시간 간격당 입찰 가치 비례( b^r_i / t^r_i )로 이루어져 사용자 평가에 기반한 효율적 분배를 보장한다.
• 에이전트는 예산 제약을 고려하면서도 사용자 유틸리티를 극대화하기 위해 여러 호스트에 걸쳐 동적으로 입찰를 조정하는 최적 반응 알고리즘을 사용한다.
• 사용자가 여러 서버에 걸쳐 신용 잔액을 유지하는 분산형 신용 메커니즘을 사용하여 은행 인fra의 단일 장애 지점 방지를 도모한다.
• 성능 및 확장성 평가를 위해, 중간 수준의 하드웨어(450 MHz x86, 100 MB/s 이더넷)를 사용한 팔로 알토와 브리스톨에 걸친 22대 호스트 클러스터에 프로토타입을 구축했다.

실험 결과

연구 질문

• RQ1 빈번한 사용자 입찰가 요구되지 않는 분산형 시장 기반 시스템이 저지연 자원 할당을 달성할 수 있는가?
• RQ2 전통적인 비례 할당 또는 예약 기반 할당과 비교해 지속적 입찰의 경제적 효율성과 시스템 오버헤드 측면에서 어떤가?
• RQ3 중앙 집중식 시장 메커니즘에 비해 분산된 경매업자가 확장성과 신뢰성 측면에서 얼마나 향상시킬 수 있는가?
• RQ4 표준 컴퓨팅 환경에 시장 기반 할당 계층을 통합할 경우 성능 오버헤드는 어느 정도인가?
• RQ5 최적 반응 입찰 전략이 최소한의 사용자 간섭으로 다수의 분산 시장에서 사용자 유틸리티를 효과적으로 최적화할 수 있는가?

주요 결과

• Tycoon는 클러스터의 22대 호스트를 30초 이내로 재할당하여 동적 부하 상황에서도 저지연 자원 재구성 능력을 입증했다.
• 비-Tycoon 호스트와 비교해 일반 작업에서 5% 이하의 오버헤드를 발생시켜 성능 영향이 최소한임을 확인했다.
• 프로토타입은 최대 500대 호스트와 24명의 동시 활성 사용자를 지원할 수 있었으며, 호스트-사용자 조합의 곱이 12,000에 이르는 것으로 나타나 강력한 수평 확장성을 보였다.
• 사용자 입찰이 명시적으로 없더라도, 에이전트가 가용 신용과 시장 신호를 기반으로 최적화함으로써 자원 효율적 사용을 장려했다.
• 분산된 경매업자 모델은 한 경매업자 장애가 다른 호스트의 자원 할당을 방해하지 않아 시스템 복원력 향상을 이뤘다.
• 지속적 입찰 모델은 사용자가 한 번 입찰한 후 이를 기억할 필요 없이도 적시적이고 효율적인 할당을 달성할 수 있도록 사용자 부담을 감소시켰다.