[論文レビュー] A Benchmark of JSON-compatible Binary Serialization Specifications

Juan Cruz Viotti, Mital Kinderkhedia|arXiv (Cornell University)|Jan 9, 2022

Software Engineering Research被引用数 9

ひとこと要約

本論文は、産業分野の27の実世界JSONドキュメントを用いて、13のJSON互換バイナリシリアル化形式の再現可能でオープンソースのベンチマークを提示する。ドキュメントのサイズ、構造、重複度に基づく、新規の階層的分類（Tier 1–3）を導入し、順次的かつスキーマ駆動型の形式（ASN.1 PER や Apache Avro など）が、スキーマなし形式や圧縮JSONよりも空間効率に優れていることを明らかにした。

ABSTRACT

We present a comprehensive benchmark of JSON-compatible binary serialization specifications using the SchemaStore open-source test suite collection of over 400 JSON documents matching their respective schemas and representative of their use across industries. We benchmark a set of schema-driven (ASN.1, Apache Avro, Microsoft Bond, Cap'n Proto, FlatBuffers, Protocol Buffers, and Apache Thrift) and schema-less (BSON, CBOR, FlexBuffers, MessagePack, Smile, and UBJSON) JSON-compatible binary serialization specifications. Existing literature on benchmarking JSON-compatible binary serialization specifications demonstrates extensive gaps when it comes to binary serialization specifications coverage, reproducibility and representativity, the role of data compression in binary serialization and the choice and use of obsolete versions of binary serialization specifications. We introduce a tiered taxonomy for JSON documents consisting of 36 categories classified as Tier 1, Tier 2 and Tier 3 as a common basis to class JSON documents based on their size, type of content, characteristics of their structure and redundancy criteria. We built and published a free-to-use online tool to automatically categorize JSON documents according to our taxonomy that generates related summary statistics. In the interest of fairness and transparency, we adhere to reproducible software development standards and publicly host the benchmark software and results on GitHub.

研究の動機と目的

• 既存のJSON互換バイナリシリアル化形式のベンチーミングにおける重要なギャップ（カバレッジ、再現性、代表性）を解消する。
• 多様な実世界JSONデータにおける空間効率を評価するための、標準化され、自動化され、拡張可能なベンチマークプラットフォームの開発。
• データ圧縮が、スキーマ駆動型およびスキーマなしバイナリシリアル化形式の両方における空間効率に与える影響の調査。
• サイズ、構造、コンテンツタイプ、重複度に基づく、JSONドキュメントの新規分類（Tier 1–3）の確立により、ベンチマークの代表性を向上。
• 再現可能で透明性のあるオープンソースフレームワークの提供。公開された結果とコードにより、研究の再現性を確保し、将来的な拡張を可能にする。

提案手法

• サイズ、コンテンツタイプ、構造、重複度に基づき、36のJSONドキュメントカテゴリの階層的分類（Tier 1: <100 バイト、Tier 2: 100–1000 バイト、Tier 3: ≥1000 バイト）を構築。
• SchemaStoreのテストスイートに準拠し、実世界の産業用途から27の代表的JSONドキュメントを収集・キュレート。
• GitHub Actionsを用いて、13のバイナリ形式と圧縮レベルの全組み合わせについて、シリアル化を実行する自動的かつ決定論的なベンチマークプラットフォームを実装。
• 全形式・圧縮レベル・ドキュメントカテゴリの組み合わせについて、実サイズと集計サイズ指標（中央値、平均、削減率）を測定。
• ビジュアライゼーション（棒グラフおよびボックスプロット）を生成し、GitHubにApache-2.0ライセンスの下で結果とソースコードを公開。
• 一貫性があり再現可能なパイプラインを採用し、公平性と透明性を確保。将来的な新規形式やデータセットへの拡張を支援する。

実験結果

リサーチクエスチョン

• RQ1 JSON互換のスキーマなしバイナリシリアル化仕様は、JSONに比べて空間効率に優れているか？
• RQ2 JSON互換のスキーマ駆動型バイナリシリアル化仕様は、JSONおよびスキーマなし形式に比べて空間効率に優れているか？
• RQ3 順次的バイナリシリアル化仕様は、ポインタベースのバイナリシリアル化仕様に比べて空間効率に優れているか？
• RQ4 圧縮JSONは、圧縮および非圧縮のバイナリシリアル化仕様に比べて空間効率に優れているか？

主な発見

• 順次的バイナリシリアル化形式は、スキーマ駆動型かスキーマなし形式かにかかわらず、常にポインタベース形式よりも空間効率に優れている。
• スキーマなしバイナリ形式（MessagePack、Smile、FlexBuffers など）は、特定のドキュメントタイプでのみ空間効率が向上する：MessagePack は Tier 1（<100 バイト）で、Smile は Tier 3（≥1000 バイト）で、FlexBuffers は高重複テキストデータで。
• 非圧縮および圧縮されたスキーマなしバイナリ形式は、圧縮JSONと比較して、中央値および平均サイズ削減率が負値を示しており、空間効率が劣ることが判明。
• スキーマ駆動型形式（例：ASN.1 PER Unaligned、Apache Avro unpacked）は、全ドキュメントティアで中央値および平均サイズ削減率が正値となり、JSONおよびスキーマなし形式を上回る。
• 圧縮された順次的スキーマ駆動型バイナリ形式は、27のテストケースすべてにおいて、圧縮JSONを上回り、一貫的かつ顕著な空間効率の向上を示した。
• ベンチマークにより、データ圧縮がスキーマ駆動型形式の利点を拡大することが判明し、帯域幅制限のある環境において最適であることが示された。