[论文解读] A Survey of JSON-compatible Binary Serialization Specifications

Juan Cruz Viotti, Mital Kinderkhedia|arXiv (Cornell University)|Jan 6, 2022

Web Data Mining and Analysis被引用 12

一句话总结

本文全面调查了与JSON兼容的二进制序列化规范，对比了基于模式的（例如，Protocol Buffers、Avro）与无模式的（例如，CBOR、MessagePack）格式。分析了ZigZag和LEB128等编码技术，评估了模式演进的挑战，并提出了一个基于性能、兼容性和设计权衡的框架，用于在基于模式与无模式方法之间进行选择。

ABSTRACT

In this paper, we present the recent advances that highlight the characteristics of JSON-compatible binary serialization specifications. We motivate the discussion by covering the history and evolution of binary serialization specifications across the years starting from 1960s to 2000s and onwards. We analyze the use cases of the most popular serialization specifications across the industries. Drawing on the schema-driven (ASN.1, Apache Avro, Microsoft Bond, Cap'n Proto, FlatBuffers, Protocol Buffers, and Apache Thrift) and schema-less (BSON, CBOR, FlexBuffers, MessagePack, Smile, and UBJSON) JSON-compatible binary serialization specifications, we compare and contrast their inner workings through our analysis. We explore a set of non-standardized binary integer encoding techniques (ZigZag integer encoding and Little Endian Base 128 variable-length integer encoding) that are essential to understand the various JSON-compatible binary serialization specifications. We systematically discuss the history, the characteristics, and the serialization processes of the selection of schema-driven and schema-less binary serialization specifications and we identify the challenges associated with schema evolution in the context of binary serialization. Through reflective exercise, we explain our observations of the selection of JSON-compatible binary serialization specifications. This paper aims to guide the reader to make informed decisions on the choice between schema-driven or schema-less JSON-compatible binary serialization specifications.

研究动机与目标

• 分析与JSON兼容的二进制序列化格式的历史演进与当前状态。
• 从设计、效率和互操作性角度，对比基于模式与无模式的与JSON兼容的二进制序列化规范。
• 研究对这些格式至关重要的非标准化二进制整数编码技术（ZigZag、LEB128）。
• 评估模式演进中的挑战，并提出一种形式化的模式兼容性分析框架。
• 指导开发人员根据用例、性能和可维护性选择合适的序列化格式。

提出的方法

• 对12种主要的与JSON兼容的二进制序列化格式进行系统性综述与对比分析，涵盖基于模式的（如Protocol Buffers、Cap’n Proto）和无模式的（如CBOR、BSON）变体。
• 通过公开的GitHub仓库，利用每种格式的输入数据、模式和代码，对位串表示进行逆向工程。
• 应用标准化测试数据（图10）以评估不同格式在编码一致性与JSON兼容性方面的表现。
• 识别并分析常见的二进制编码模式，特别是用于整数的ZigZag和小端基128（LEB128）编码。
• 通过涉及常见变换（如字段添加、删除、重命名）的测试用例，评估模式演进的兼容性。
• 提出一种用于模式驱动程度的理论框架与模式的语义版本控制机制，类似于算法效率的Big O表示法。

实验结果

研究问题

• RQ1 基于模式与无模式的与JSON兼容的二进制序列化格式的关键设计特征与权衡是什么？
• RQ2 非标准化的二进制整数编码技术（ZigZag与LEB128）如何影响二进制序列化格式的效率与结构？
• RQ3 现有二进制序列化格式在不修改的情况下，能在多大程度上表示任何有效的JSON文档，从而体现真正的JSON兼容性？
• RQ4 基于模式的格式支持的常见模式演进模式有哪些？如何对兼容性进行形式化分析？
• RQ5 可以使用哪些指标或框架来比较不同序列化格式之间模式驱动程度的差异？

主要发现

• 大多数与JSON兼容的二进制序列化格式在其位串表示中共享常见的结构模式，通过研究少数示例即可推断出格式的内部机制。
• ZigZag与LEB128编码技术的使用显著提升了在多个格式中对有符号整数和可变长度整数的存储效率。
• 基于模式的格式如Protocol Buffers与Apache Avro通过版本化的模式变更，表现出更强的模式演进支持，但并非所有变换都能保证兼容性。
• 无模式格式如CBOR与MessagePack展现出更广泛的与任意JSON文档的兼容性，但缺乏原生的模式验证与版本控制功能。
• 本研究发现，在形式化模式演进兼容性分析方面存在空白，尚无标准化方法可用于验证模式变更的向前或向后兼容性。
• 通过GitHub仓库提供了可复现的基准测试环境，使读者能够重新生成所有位串输出并验证格式行为。