[論文レビュー] Benchmarking JSON BinPack

Juan Cruz Viotti, Mital Kinderkhedia|arXiv (Cornell University)|Nov 23, 2022

Software Engineering Research被引用数 7

ひとこと要約

この論文は、JSON Schemaに基づくスキーマ駆動およびスキーマレスなバイナリシリアル化形式である、新規のJSON BinPackのプロトタイプ実装をベンチマークし、スキーマ駆動モードではJSONに対して中央値で86.7%、平均で78.7%のサイズ削減を達成しており、スキーマレスモードでは30.6%と30.5%の削減を示した。これは、標準バイナリ形式や最良ケースの圧縮JSONに対しても、空間効率で優れていることを示している。

ABSTRACT

In this paper, we present benchmark results for a pre-production implementation of a novel serialization specification: JSON BinPack. JSON BinPack is a schema-driven and schema-less sequential binary serialization specification based on JSON Schema. It is rich in diverse encodings, and is developed to improve network performance and reduce the operational costs of Internet-based software systems. We present benchmark results for 27 JSON documents and for each plot, we show the schema-driven and schema-less serialization specifications that produce the smallest bit-strings. Through extensive plots and statistical comparisons, we show that JSON BinPack in schema-driven mode is as space-efficient or more space-efficient than every other serialization specification for the 27 documents under consideration. In comparison to JSON, JSON BinPack in schema-driven mode provides a median and average size reductions of 86.7% and 78.7%, respectively. We also show that the schema-less mode of the JSON BinPack binary serialization specification is as space-efficient or more space-efficient than every other schema-less serialization specification for the 27 documents under consideration. In comparison to JSON, JSON BinPack in schema-less mode provides a median and average size reductions of 30.6% and 30.5%, respectively. Unlike other considered schema-driven binary serialization specifications, JSON BinPack in schema-driven mode is space-efficient in comparison to best-case compressed JSON in terms of the median and average with size reductions of 76.1% and 66.8%, respectively. We have made our benchmark results available at jviotti/binary-json-size-benchmark on GitHub.

研究の動機と目的

• JSON BinPackという新しいバイナリシリアル化形式の空間効率を、既存のスキーマ駆動およびスキーマレス形式と比較して評価すること。
• JSON BinPackが、多様な実世界のJSONドキュメントにおいて、生のバイナリ形式および圧縮JSONの両方を凌駕する圧縮性能を達成できるかどうかを評価すること。
• スキーマ駆動バイナリシリアル化が、一般向けデータ圧縮を上回ることの可能性を検証し、テキスト形式の圧縮に関する従来の仮定に疑問を呈すること。
• 今後のJSON BinPackの開発および本番環境での採用を支援する再現可能なベンチマークを提供すること。

提案手法

• ベンチマークは、27個の実世界のJSONドキュメントを用い、スキーマ駆動およびスキーマレスモードの両方で、プロトタイプのTypeScript実装を用いて実施された。
• 各ドキュメントについて、スキーマ駆動およびスキーマレスのJSON BinPackで得られた最小のビットストリング出力を選別し、13種類の既存のバイナリシリアル化形式および圧縮JSONと比較した。
• 中央値、平均、サイズ削減の範囲といった統計的分析を実施し、ドキュメントサイズおよびコンテンツタイプごとに結果を層別した。
• 最良ケースの圧縮JSONとの公平な比較を確保するため、標準化された圧縮フォーマット（例：gzip、zstd）が使用された。
• スキーマ駆動エンコードにはJSON Schemaが活用され、対応していないキーワードが存在する場合はスキーマレスモードにフォールバックされた。
• すべてのベンチマーク結果およびコードはGitHubに公開されており、再現性が保証されている。

実験結果

リサーチクエスチョン

• RQ1 スキーマ駆動モードにおけるJSON BinPackは、他のスキーマ駆動バイナリシリアル化形式と比べて、空間効率においてどの程度優れているか？
• RQ2 スキーマレスモードにおけるJSON BinPackは、他のスキーマレスバイナリシリアル化形式と比べて、空間効率においてどの程度優れているか？
• RQ3 スキーマ駆動モードのJSON BinPackは、最良ケースの圧縮JSONを上回るサイズ削減を達成できるか？
• RQ4 どの種類のドキュメントやサイズのドキュメントで、JSON BinPackは最も顕著な圧縮効果を示すか？

主な発見

• スキーマ駆動モードでは、JSON BinPackはJSONに対して中央値で86.7%、平均で78.7%のサイズ削減を達成した。
• スキーマレスモードでは、JSON BinPackはJSONに対して中央値で30.6%、平均で30.5%のサイズ削減を達成した。
• スキーマ駆動モードのJSON BinPackは、最良ケースの圧縮JSONを上回り、中央値で76.1%、平均で66.8%のサイズ削減を達成した。
• スキーマレス形式のうち、JSON BinPackは27件中27件すべてのドキュメントで、すべての代替手法と同等以上に性能を発揮したが、13件のケースで最良ケースの圧縮JSONが優れており、主に小規模なテキストドキュメントで顕著であった。
• 評価されたすべてのスキーマ駆動バイナリ形式（Protocol BuffersやCap’n Protoを含む）と比較して、JSON BinPackのスキーマ駆動モードは空間効率が優れていた。
• 本研究により、適切に設計されたスキーマ駆動バイナリ形式が、一般向けデータ圧縮を上回ることが確認され、テキスト形式の圧縮において、従来の仮定（圧縮テキスト形式が優れている）に疑問を呈した。