[论文解读] Managing Schema Evolution in NoSQL Data Stores

Stefanie Scherzinger, Meike Klettke+1 more|arXiv (Cornell University)|Aug 2, 2013

Advanced Database Systems and Queries参考文献 12被引用 40

一句话总结

本文提出了一种用于NoSQL数据存储的声明式模式演化语言，支持系统化管理模式变更——如添加、重命名或移动属性——而无需修改底层数据库。该方法将NoSQL存储视为黑箱，使用通用的数据库编程语言安全高效地实现跨多种NoSQL系统的模式操作，解决了在敏捷、频繁发布过程中保持数据一致性的关键挑战。

ABSTRACT

NoSQL data stores are commonly schema-less, providing no means for globally defining or managing the schema. While this offers great flexibility in early stages of application development, developers soon can experience the heavy burden of dealing with increasingly heterogeneous data. This paper targets schema evolution for NoSQL data stores, the complex task of adapting and changing the implicit structure of the data stored. We discuss the recommendations of the developer community on handling schema changes, and introduce a simple, declarative schema evolution language. With our language, software developers and architects can systematically manage the evolution of their production data and perform typical schema maintenance tasks. We further provide a holistic NoSQL database programming language to define the semantics of our schema evolution language. Our solution does not require any modifications to the NoSQL data store, treating the data store as a black box. Thus, we want to address application developers that use NoSQL systems

研究动机与目标

• 解决现代Web应用中用于无模式NoSQL数据存储的系统化模式管理工具缺失的问题。
• 支持敏捷开发实践，其中模式随每周或每日发布而快速演进。
• 提供一种声明式、可移植的语言，用于在各种NoSQL数据库中定义模式演化操作。
• 通过将数据存储视为黑箱，将模式演化与NoSQL后端解耦。
• 在应用演化过程中，实现生产数据的安全、一致迁移。

提出的方法

• 设计一种声明式模式演化语言，支持常见操作：在实体之间添加、删除、重命名、复制和移动属性。
• 使用通用的NoSQL数据库编程语言实现该模式演化语言，以确保与多种NoSQL系统的兼容性。
• 使用一种整体性编程语言定义模式操作的语义，以捕捉模式变更的行为。
• 通过强制执行确定性迁移语义，确保向后兼容性和数据一致性。
• 避免对NoSQL数据存储进行修改，使其适用于数据库即服务（database-as-a-service）环境。
• 利用现有的对象映射器和应用层抽象，将模式变更映射为数据存储操作。

实验结果

研究问题

• RQ1 在缺乏内置模式定义或管理功能的NoSQL数据存储中，如何系统化地管理模式演化？
• RQ2 在生产环境中，对NoSQL存储的数据隐式模式进行演化，哪些操作是必要且安全的？
• RQ3 如何在不修改后端的前提下，以声明式且可移植的方式表达跨不同NoSQL数据库的模式演化？
• RQ4 在NoSQL系统中，急迫迁移与延迟迁移有何影响，如何安全地支持两者？
• RQ5 如何将现有的对象映射器和应用框架与NoSQL数据存储的模式演化语言集成？

主要发现

• 所提出的模式演化语言使开发人员能够声明式地表达在NoSQL数据存储中常见的模式变更——如添加、重命名或移动属性。
• 该语言通过通用的NoSQL数据库编程语言实现，确保与各种NoSQL系统的广泛兼容性，且无需修改后端。
• 模式操作以确定性、安全的方式执行，避免了可能破坏数据一致性的非确定性迁移。
• 该方法将NoSQL数据存储视为黑箱，适用于无法直接配置的数据库即服务环境。
• 该解决方案支持急迫迁移和未来潜在的延迟迁移策略，为不同的发布周期和数据演化模式提供了灵活性。
• 现有的NoSQL对象映射器（如Objectify、Morphia）对模式演化支持有限；本工作通过系统化、声明式的方法填补了这一空白。