[논문 리뷰] Fractal: Automated Application Scaling

Masoud Koleini, Carlos Peñaherrera외 6명|arXiv (Cornell University)|2019. 02. 25.

Cloud Computing and Resource Management참고 문헌 22인용 수 4

한 줄 요약

Fractal은 개발자가 애플리케이션 코드에 오케스트레이션 로직을 직접 통합할 수 있도록 하는 자기 스케일링 애플리케이션 프레임워크를 제안한다. 이는 실시간 부하에 기반해 응용 프로그램 인식형으로 복제본을 동적으로 스케일링할 수 있도록 한다. Fractal은 Jitsu와 Open vSwitch와 통합되어 복제본 생성, 라이프사이클 관리, 장애 복구 및 투명한 로드 밸런싱을 자동화하며, 프로토타입 자기 스케일링 웹사이트에서 성능 오버헤드가 거의 없는 것을 입증한다.

ABSTRACT

To date, cloud applications have used datacenter resources through manual configuration and deployment of virtual machines and containers. Current trends see increasing use of microservices, where larger applications are split into many small containers, to be developed and deployed independently. However, even with the rise of the devops movement and orchestration facilities such as Kubernetes, there is a tendency to separate development from deployment. We present an exploration of a more extreme point on the devops spectrum: Fractal. Developers embed orchestration logic inside their application, fully automating the processes of scaling up and down. Providing a set of extensions to and an API over the Jitsu platform, we outline the design of Fractal and describe the key features of its implementation: how an application is self-replicated, how replica lifecycles are managed, how failure recovery is handled, and how network traffic is transparently distributed between replicas. We present evaluation of a self-scaling website, and demonstrate that Fractal is both useful and feasible.

연구 동기 및 목표

• 현대 클라우드 아키텍처에서 애플리케이션 로직와 배포 구성 분리의 복잡성과 경직성 문제를 해결하기 위해.
• 일반적인 오케스트레이션 정책을 넘어서 애플리케이션 수준에서 스케일링 결정을 제어할 수 있도록 하기 위해.
• 마이크로서비스 및 유니커널 기반 시스템에서 완전히 자동화된, 애플리케이션 주도 스케일링의 실현 가능성을 탐색하기 위해.
• Kubernetes와 같은 전통적인 오케스트레이션 도구와 관련된 성능 및 관리 오버헤드를 줄이기 위해.
• 실세계 배포 환경에서 애플리케이션 인식형 스케일링이 효율적이고 실용적임을 입증하기 위해.

제안 방법

• 응용 프로그램이 복제본을 프로그래밍적으로 생성하고 삭제할 수 있도록 허용하기 위해 Jitsu 제어 스택을 단순한 RPC API로 확장한다.
• 공유 IP 주소를 사용하여 네트워크 트래픽을 복제본 간에 투명하게 분배하기 위해 Open vSwitch와 OpenFlow를 사용한다.
• 스케일다운 중에 복제본 간에 응용 프로그램 상태(예: 로그)를 관리하고 병합하기 위해 분산형, 버전 관리 키-밸류 스토어인 Irmin을 활용한다.
• 세밀한 복제를 지원하는 컴act하고 안전하며 타입 안정적인 애플리케이션 이미지를 제공하는 MirageOS 유니커널을 활용한다.
• 스케일링 상태 유지 기능을 포함한 복제본 라이프사이클 관리를 구현하며, 부하가 발생하면 자동으로 복제본을 생성하고, 유휴 상태가 되면 자동으로 제거한다.
• API를 통해 노출된 애플리케이션 전용 메트릭에 기반해 스케일링 결정을 내려, 세밀하고 행동 인식형 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 애플리케이션 개발자가 코드에 오케스트레이션 로직을 직접 통합하여 완전히 자동화된 스케일링을 구현할 수 있는가?
• RQ2 성능 및 자원 오버헤드 측면에서 애플리케이션 수준 스케일링은 전통적인 오케스트레이션과 비교해 어떻게 다를까?
• RQ3 스케일다운 중에 복제본 간에 상태를 신뢰성 있게 병합할 수 있으며, 데이터 손실이나 일관성 문제가 발생하지 않을까?
• RQ4 자기 스케일링이 응답 시간, 메모리 프로파일, 네트워크 구성에 어떤 영향을 미칠까?
• RQ5 이 접근법은 유니커널과 MirageOS를 초월해 일반화될 수 있을까?

주요 결과

• 자기 스케일링 웹사이트 프로토타입은 부하가 증가하는 상황에서도 동적으로 복제본을 생성함으로써 성능 목표를 성공적으로 유지했다.
• 부하가 감소했을 때, 사용되지 않는 복제본은 제거되었고, 그들의 로그는 주 인스턴스에 최소한의 오버헤드로 병합되었다.
• 성능 오버헤드는 거의 없었으며, 메모리 프로파일과 응답 시간에 미미한 증가 외에는 영향이 없었다.
• OpenFlow 스위치 규칙 수가 낮게 유지되어 네트워크 구성의 확장성이 뛰어났다.
• 시스템은 실세계 시나리오에서 애플리케이션 인식형 스케일링이 실현 가능하고 효율적임을 입증했다.
• 이 접근법은 MirageOS 유니커널을 초월해 확장 가능하며, 플러그인 인터페이스를 통해 기존 컨테이너 환경에도 적응 가능하다.