[论文解读] Fractal: Automated Application Scaling

Masoud Koleini, Carlos Peñaherrera+6 more|arXiv (Cornell University)|Feb 25, 2019

Cloud Computing and Resource Management参考文献 22被引用 4

一句话总结

Fractal 提出了一种自扩展的应用框架，开发者可将编排逻辑直接嵌入应用代码中，实现基于实时负载的动态、应用感知的副本扩展。它与 Jitsu 和 Open vSwitch 集成，自动完成副本创建、生命周期管理、故障恢复以及透明负载均衡，在一个自扩展网站原型中表现出可忽略的性能开销。

ABSTRACT

To date, cloud applications have used datacenter resources through manual configuration and deployment of virtual machines and containers. Current trends see increasing use of microservices, where larger applications are split into many small containers, to be developed and deployed independently. However, even with the rise of the devops movement and orchestration facilities such as Kubernetes, there is a tendency to separate development from deployment. We present an exploration of a more extreme point on the devops spectrum: Fractal. Developers embed orchestration logic inside their application, fully automating the processes of scaling up and down. Providing a set of extensions to and an API over the Jitsu platform, we outline the design of Fractal and describe the key features of its implementation: how an application is self-replicated, how replica lifecycles are managed, how failure recovery is handled, and how network traffic is transparently distributed between replicas. We present evaluation of a self-scaling website, and demonstrate that Fractal is both useful and feasible.

研究动机与目标

• 解决现代云架构中应用逻辑与部署配置分离带来的日益复杂和僵化的问题。
• 实现应用层面的扩展决策控制，超越通用的编排策略。
• 探索在微服务和 unikernel 架构系统中实现完全自动化、应用驱动扩展的可行性。
• 降低传统编排工具（如 Kubernetes）带来的性能和管理开销。
• 证明应用感知扩展在真实部署中既高效又实用。

提出的方法

• 在 Jitsu 控制栈上扩展一个简单的 RPC API，使应用能够以程序化方式创建和销毁副本。
• 使用 Open vSwitch 与 OpenFlow，通过共享 IP 地址透明地在副本之间分发网络流量。
• 采用 Irmin（一种分布式、带版本控制的键值存储）来管理并合并副本之间的应用状态（例如日志），特别是在缩容期间。
• 利用 MirageOS unikernel 构建紧凑、安全且类型安全的应用镜像，支持细粒度的复制。
• 实现副本生命周期管理，包括在负载下自动创建副本以及在空闲时自动销毁副本，并支持状态持久化。
• 将扩展决策绑定到通过 API 暴露的应用特定指标，实现细粒度、行为感知的控制。

实验结果

研究问题

• RQ1 应用开发者能否直接在代码中嵌入编排逻辑，以实现完全自动化的扩展？
• RQ2 与传统编排相比，应用级扩展在性能和资源开销方面表现如何？
• RQ3 在缩容过程中，能否可靠地在副本之间合并状态而不造成数据丢失或不一致？
• RQ4 自扩展对响应时间、内存占用和网络配置有何影响？
• RQ5 该方法在 unikernel 和 MirageOS 之外的适用范围有多大？

主要发现

• 自扩展网站原型通过动态创建副本，在负载增加时成功维持了性能目标。
• 当负载下降时，未使用的副本被销毁，其日志被合并到主实例中，开销极低。
• 性能开销可忽略不计，仅在内存占用和响应时间方面有轻微增加。
• OpenFlow 交换机规则数量保持在较低水平，表明网络配置具有可扩展性。
• 该系统证明了在真实场景中，应用感知扩展既可行又高效。
• 该方法可扩展至 MirageOS unikernel 之外，通过插件接口适配传统容器。