[논문 리뷰] A Survey of JSON-compatible Binary Serialization Specifications

Juan Cruz Viotti, Mital Kinderkhedia|arXiv (Cornell University)|2022. 01. 06.

Web Data Mining and Analysis인용 수 12

한 줄 요약

이 논문은 JSON 호환성 있는 이진 직렬화 사양에 대한 종합적인 조사 보고서를 제공하며, 스키마 기반(예: Protocol Buffers, Avro)과 스키마 없는(예: CBOR, MessagePack) 형식을 비교한다. 인코딩 기법(예: ZigZag, LEB128)을 분석하고, 스키마 진화 과제를 평가하며, 성능, 호환성, 설계적 타협 요소를 바탕으로 스키마 기반과 스키마 없는 접근 방식 간의 선택을 위한 프레임워크를 제안한다.

ABSTRACT

In this paper, we present the recent advances that highlight the characteristics of JSON-compatible binary serialization specifications. We motivate the discussion by covering the history and evolution of binary serialization specifications across the years starting from 1960s to 2000s and onwards. We analyze the use cases of the most popular serialization specifications across the industries. Drawing on the schema-driven (ASN.1, Apache Avro, Microsoft Bond, Cap'n Proto, FlatBuffers, Protocol Buffers, and Apache Thrift) and schema-less (BSON, CBOR, FlexBuffers, MessagePack, Smile, and UBJSON) JSON-compatible binary serialization specifications, we compare and contrast their inner workings through our analysis. We explore a set of non-standardized binary integer encoding techniques (ZigZag integer encoding and Little Endian Base 128 variable-length integer encoding) that are essential to understand the various JSON-compatible binary serialization specifications. We systematically discuss the history, the characteristics, and the serialization processes of the selection of schema-driven and schema-less binary serialization specifications and we identify the challenges associated with schema evolution in the context of binary serialization. Through reflective exercise, we explain our observations of the selection of JSON-compatible binary serialization specifications. This paper aims to guide the reader to make informed decisions on the choice between schema-driven or schema-less JSON-compatible binary serialization specifications.

연구 동기 및 목표

• JSON과 호환되는 이진 직렬화 형식의 역사를 분석하고 현재 상태를 파악하는 것.
• 디자인, 효율성, 상호운용성 측면에서 스키마 기반과 스키마 없는 JSON 호환 이진 직렬화 사양을 비교하는 것.
• 이 형식들에 핵심적인 영향을 미치는 비표준화된 이진 정수 인코딩 기법(예: ZigZag, LEB128)을 조사하는 것.
• 스키마 진화 과제를 평가하고, 스키마 호환성에 대한 형식적 분석 프레임워크를 제안하는 것.
• 사용 사례, 성능, 유지보수성에 기반해 개발자가 적절한 직렬화 형식을 선택할 수 있도록 안내하는 것.

제안 방법

• Protocol Buffers, Cap’n Proto 등 스키마 기반 형식과 CBOR, BSON 등 스키마 없는 형식 포함, 총 12개의 주요 JSON 호환 이진 직렬화 형식에 대한 체계적 리뷰 및 비교 분석.
• 각 형식의 입력 데이터, 스키마, 코드를 포함한 공개된 GitHub 리포지터리를 활용한 비트 스트링 표현 방식 역공학.
• 도식 10에 제시된 표준화된 테스트 데이터를 적용하여 형식 간의 인코딩 일관성과 JSON 호환성 평가.
• 특히 정수의 경우 ZigZag 및 리틀 엔디안 기반 128진수(LEB128) 인코딩 방식을 포함한 공통된 이진 인코딩 패턴 식별 및 분석.
• 일반적인 변환(예: 필드 추가, 삭제, 이름 변경)을 포함한 테스트 케이스를 통해 스키마 진화 호환성 평가.
• 알고리즘 효율성의 Big O-notation에 유사한 스키마 기반도 측정 기준 및 의미적 버전 관리 프레임워크 제안.

실험 결과

연구 질문

• RQ1 스키마 기반과 스키마 없는 JSON 호환 이진 직렬화 형식의 주요 설계 특성과 상호 간의 타당성은 무엇인가?
• RQ2 비표준화된 이진 정수 인코딩 기법(예: ZigZag 및 LEB128)이 이진 직렬화 형식의 효율성과 구조에 어떤 영향을 미치는가?
• RQ3 기존의 이진 직렬화 형식이 수정 없이 어떤 유효한 JSON 문서도 표현할 수 있는 정도는 어느 정도이며, 이는 진정으로 JSON 호환성을 의미하는가?
• RQ4 스키마 기반 형식에서 지원하는 일반적인 스키마 진화 패턴은 무엇이며, 호환성은 어떻게 형식적으로 분석할 수 있는가?
• RQ5 다양한 직렬화 형식 간의 스키마 기반도 정도를 비교하기 위해 사용할 수 있는 지표나 프레임워크는 무엇인가?

주요 결과

• 대부분의 JSON 호환 이진 직렬화 형식은 비트 스트링 표현 방식에서 공통적인 구조적 패턴을 공유하며, 소수의 예시를 분석한 후에는 형식의 내부 구조를 추론할 수 있다.
• ZigZag 및 LEB128 인코딩 기법의 사용은 각각 부호 있는 정수와 가변 길이 정수의 경우 공간 효율성을 크게 향상시키며, 여러 형식에서 공통적으로 적용된다.
• Protocol Buffers 및 Apache Avro와 같은 스키마 기반 형식은 버전화된 스키마 변경을 통해 스키마 진화에 더 강력한 지원을 보이지만, 모든 변환에 대해 호환성이 보장되지는 않는다.
• CBOR 및 MessagePack와 같은 스키마 없는 형식은 임의의 JSON 문서와 더 넓은 호환성을 보이지만, 네이티브 스키마 검증 및 버전 관리 기능이 없다.
• 형식적 스키마 진화 호환성 분석에 대한 격차가 존재하며, 스키마 변경의 정방향 또는 역방향 호환성을 검증할 수 있는 표준화된 방법이 없다.
• 모든 비트 스트링 출력을 재현하고 형식의 동작을 검증할 수 있도록 GitHub 리포지터리에 재현 가능한 벤치마킹 환경이 제공된다.