[논문 리뷰] A Benchmark of JSON-compatible Binary Serialization Specifications

Juan Cruz Viotti, Mital Kinderkhedia|arXiv (Cornell University)|2022. 01. 09.

Software Engineering Research인용 수 9

한 줄 요약

이 논문은 산업 분야의 27개 실제 JSON 문서를 대상으로, 13개의 JSON 호환 이진 직렬화 형식에 대한 재현 가능하고 오픈소스 기반의 벤치마크를 제시한다. 문서 크기, 구조, 중복성 기반의 새로운 계층적 분류 체계(티어 1–3)를 도입하였으며, 순차적이고 스키마 기반의 형식인 ASN.1 PER 및 Apache Avro가 스키마 없는 형식과 압축된 JSON보다 공간 효율성이 뛰어나다는 것을 발견하였다.

ABSTRACT

We present a comprehensive benchmark of JSON-compatible binary serialization specifications using the SchemaStore open-source test suite collection of over 400 JSON documents matching their respective schemas and representative of their use across industries. We benchmark a set of schema-driven (ASN.1, Apache Avro, Microsoft Bond, Cap'n Proto, FlatBuffers, Protocol Buffers, and Apache Thrift) and schema-less (BSON, CBOR, FlexBuffers, MessagePack, Smile, and UBJSON) JSON-compatible binary serialization specifications. Existing literature on benchmarking JSON-compatible binary serialization specifications demonstrates extensive gaps when it comes to binary serialization specifications coverage, reproducibility and representativity, the role of data compression in binary serialization and the choice and use of obsolete versions of binary serialization specifications. We introduce a tiered taxonomy for JSON documents consisting of 36 categories classified as Tier 1, Tier 2 and Tier 3 as a common basis to class JSON documents based on their size, type of content, characteristics of their structure and redundancy criteria. We built and published a free-to-use online tool to automatically categorize JSON documents according to our taxonomy that generates related summary statistics. In the interest of fairness and transparency, we adhere to reproducible software development standards and publicly host the benchmark software and results on GitHub.

연구 동기 및 목표

• 기존의 JSON 호환 이진 직렬화 형식 벤치마킹에서의 핵심 격차를 해결하기 위해, 커버리지, 재현 가능성, 대표성 확보를 목표로 한다.
• 다양한 실제 JSON 데이터에서 공간 효율성을 평가할 수 있는 표준화되고 자동화되며 확장 가능한 벤치마크 플랫폼을 개발한다.
• 스키마 기반 및 스키마 없는 이진 직렬화 형식에서 데이터 압축의 영향을 공간 효율성 측면에서 조사한다.
• 크기, 구조, 콘텐츠 유형, 중복성 기반으로 JSON 문서의 새로운 분류 체계(티어 1–3)를 수립하여 벤치마크의 대표성을 향상시킨다.
• 재현 가능한 연구와 향후 확장을 가능하게 하기 위해, 결과 및 소스 코드를 공개한 투명한 오픈소스 프레임워크를 제공한다.

제안 방법

• 크기, 콘텐츠 유형, 구조, 중복성 기반으로 36개의 JSON 문서 카테고리로 구성된 계층적 분류 체계를 수립함(티어 1: <100바이트, 티어 2: 100–1000바이트, 티어 3: ≥1000바이트).
• SchemaStore의 테스트 세트와 일치하는 실제 산업 응용 사례에서 유래한 27개의 대표적 JSON 문서를 수집 및 정제함.
• GitHub Actions를 활용해 13개의 이진 형식과 압축 수준을 대상으로 자동화되고 결정적인 벤치마크 플랫폼을 구현함.
• 모든 형식, 압축 수준, 문서 카테고리 조합에 대해 원시 크기 및 집계 크기 메트릭(중위수, 평균, 감소율)을 측정함.
• 시각화(막대 그래프 및 박스 플롯)를 생성하고, GitHub에 Apache-2.0 라이선스 하에 결과 및 소스 코드를 공개함.
• 일관되고 재현 가능한 파이프라인을 통해 공정성과 투명성을 확보하였으며, 향후 새로운 형식과 데이터셋에 대한 확장도 지원함.

실험 결과

연구 질문

• RQ1 스키마 없는 JSON 호환 이진 직렬화 사양은 JSON에 비해 공간 효율성 측면에서 어떻게 비교되는가?
• RQ2 스키마 기반의 JSON 호환 이진 직렬화 사양은 JSON과 스키마 없는 형식에 비해 공간 효율성 측면에서 어떻게 비교되는가?
• RQ3 순차적 이진 직렬화 사양은 포인터 기반 이진 직렬화 사양에 비해 공간 효율성 측면에서 어떻게 비교되는가?
• RQ4 압축된 JSON은 압축되지 않은 이진 직렬화 사양과 압축된 이진 직렬화 사양에 비해 공간 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 스키마 기반 여부에 관계없이, 순차적 이진 직렬화 형식은 포인터 기반 형식보다 일관되게 공간 효율성이 뛰어나다.
• 스키마 없는 이진 형식(예: MessagePack, Smile, FlexBuffers)은 특정 문서 유형에서만 공간 효율성이 향상된다: MessagePack은 티어 1(<100바이트), Smile은 티어 3(≥1000바이트), FlexBuffers는 고중복 텍스트 데이터에서 성능 향상이 뚜렷하다.
• 압축되지 않은 스키마 없는 이진 형식과 압축된 스키마 없는 이진 형식은 모두 압축된 JSON에 비해 음수인 중위수 및 평균 크기 감소율을 보이며, 이는 공간 효율성이 열 劣화됨을 시사한다.
• 스키마 기반 형식(예: ASN.1 PER Unaligned, Apache Avro unpacked)은 모든 문서 티어에서 양수의 중위수 및 평균 크기 감소율을 기록하며, JSON과 스키마 없는 형식을 모두 앞서간다.
• 모든 27개 테스트 케이스에서 압축된 순차적 스키마 기반 이진 형식은 압축된 JSON보다 엄격히 우수하며, 일관되고 뚜렷한 공간 효율성 향상을 입증한다.
• 벤치마크 결과에 따르면, 데이터 압축은 스키마 기반 형식의 이점을 더욱 부각시키며, 이는 대역폭 제약 환경에서 최적의 선택임을 시사한다.