[论文解读] Faa$T: A Transparent Auto-Scaling Cache for Serverless Applications

Francisco Romero, Gohar Irfan Chaudhry+7 more|arXiv (Cornell University)|Apr 28, 2021

Cloud Computing and Resource Management参考文献 43被引用 11

一句话总结

Faa$T 是一种透明的、针对特定应用的、自动扩展的内存缓存，专为无服务器函数设计，能够根据数据访问模式和对象大小动态管理缓存空间与 I/O 带宽。与现有缓存系统相比，它将性能提升最高达 92%（平均 57%），成本降低 99.99%，且无需修改应用程序代码或依赖外部基础设施。

ABSTRACT

Function-as-a-Service (FaaS) has become an increasingly popular way for users to deploy their applications without the burden of managing the underlying infrastructure. However, existing FaaS platforms rely on remote storage to maintain state, limiting the set of applications that can be run efficiently. Recent caching work for FaaS platforms has tried to address this problem, but has fallen short: it disregards the widely different characteristics of FaaS applications, does not scale the cache based on data access patterns, or requires changes to applications. To address these limitations, we present Faa\$T, a transparent auto-scaling distributed cache for serverless applications. Each application gets its own Faa\$T cache. After a function executes and the application becomes inactive, the cache is unloaded from memory with the application. Upon reloading for the next invocation, Faa\$T pre-warms the cache with objects likely to be accessed. In addition to traditional compute-based scaling, Faa\$T scales based on working set and object sizes to manage cache space and I/O bandwidth. We motivate our design with a comprehensive study of data access patterns in a large-scale commercial FaaS provider. We implement Faa\$T for the provider's production FaaS platform. Our experiments show that Faa\$T can improve performance by up to 92% (57% on average) for challenging applications, and reduce cost for most users compared to state-of-the-art caching systems, i.e. the cost of having to stand up additional serverful resources.

研究动机与目标

• 解决现有无服务器函数计算（FaaS）缓存系统存在的不透明、缺乏自动扩展能力，或依赖共享、单体缓存的局限性。
• 通过支持按应用的内存缓存并根据数据访问模式和对象大小动态扩展，降低无服务器应用的延迟和成本。
• 消除用户手动管理缓存或配置外部资源的需求，从而保持无服务器计算的抽象性。
• 通过透明的预热机制和带宽感知的扩展策略，提升状态敏感型和数据密集型无服务器工作负载（如机器学习推理和数据流水线）的性能。

提出的方法

• 每个无服务器函数均配备专属的 Faa$T 缓存，随函数一同加载和卸载，确保隔离性与透明性。
• Faa$T 在函数重新加载时预热缓存，将频繁访问的数据提前载入，利用应用预热机制避免冷启动。
• 缓存大小与 I/O 带宽根据计算负载和数据访问特征（包括工作集大小与对象大小）自动扩展。
• 系统采用混合扩展策略，结合基于计算的扩展与数据驱动的自适应机制，以优化内存与网络资源使用。
• Faa$T 按应用粒度管理缓存持久性与一致性策略，支持多种一致性模型，且无需修改应用程序代码。
• 通过带宽感知的实例扩展机制，最小化远程存储 I/O，优化数据传输延迟，同时缓存大对象。

实验结果

研究问题

• RQ1 如何设计一种无服务器应用缓存系统，使其对用户完全透明，同时显著提升性能并降低成本？
• RQ2 在访问模式和对象大小高度可变的无服务器工作负载中，哪些扩展策略最有效于管理缓存空间与 I/O 带宽？
• RQ3 应用特定的缓存结合预热机制是否能显著降低无服务器函数的延迟，而无需修改应用程序代码？
• RQ4 与共享或单体缓存相比，按应用缓存的性能、成本与资源利用率表现如何？
• RQ5 基于数据访问模式与对象特征的自动扩展，能在多大程度上提升无服务器环境中内存缓存的效率？

主要发现

• Faa$T 相较于最先进的缓存系统，将应用性能最高提升 92%，平均提升 57%。
• 与需要额外有状态基础设施的解决方案相比，系统成本降低 99.99%。
• 性能提升在数据密集型工作负载（如 Jupyter 笔记本和机器学习推理流水线）中最为显著。
• Faa$T 通过随实例规模扩展 I/O 带宽，有效处理大对象（>10MB），显著降低传输延迟。
• 应用预热与缓存预热相结合，显著加快函数启动速度，减轻冷启动影响。
• 系统在 vCPU 和内存资源增加时表现出良好可扩展性，8vCPU 实例达到性能饱和，原因在于网络带宽限制。