[논문 리뷰] One SQL to Rule Them All

Edmon Begoli, Tyler Akidau외 4명|arXiv (Cornell University)|2019. 05. 28.

Advanced Database Systems and Queries참고 문헌 26인용 수 7

한 줄 요약

이 논문은 시간에 따라 변화하는 관계, 이벤트 시간 의미 체계, 그리고 제어된 Materialization를 사용하여 스트리밍 데이터와 관계형 데이터를 모두 관리하는 통합 SQL 프레임워크를 제안한다. 표준 SQL에 최소한의 문법적으로 자연스러운 구성요소—예를 들어 EMIT AFTER DELAY 및 EMIT AFTER WATERMARK—를 추가함으로써 스트림에서도 완전한 SQL 기능을 제공하면서도, 정확한 이벤트 시간 동작을 지원하는 견고하고 유연하며 효율적인 실시간 처리를 가능하게 한다.

ABSTRACT

Real-time data analysis and management are increasingly critical for today`s businesses. SQL is the de facto lingua franca for these endeavors, yet support for robust streaming analysis and management with SQL remains limited. Many approaches restrict semantics to a reduced subset of features and/or require a suite of non-standard constructs. Additionally, use of event timestamps to provide native support for analyzing events according to when they actually occurred is not pervasive, and often comes with important limitations. We present a three-part proposal for integrating robust streaming into the SQL standard, namely: (1) time-varying relations as a foundation for classical tables as well as streaming data, (2) event time semantics, (3) a limited set of optional keyword extensions to control the materialization of time-varying query results. Motivated and illustrated using examples and lessons learned from implementations in Apache Calcite, Apache Flink, and Apache Beam, we show how with these minimal additions it is possible to utilize the complete suite of standard SQL semantics to perform robust stream processing.

연구 동기 및 목표

• 개발자 생산성 향상과 시스템 일관성 향상을 위해 스트림과 테이블 처리를 단일이고 일관된 SQL 의미 체계로 통합하기.
• 표준 SQL 연산자와의 호환성을 희생시키지 않은 채 SQL에서 견고한 이벤트 시간 처리를 가능하게 하기.
• 스트리밍 환경에서 쿼리 결과가 어떻게 그리고 언제 Materialization되는지를 제어하기 위한 최소한의 확장성 있는 기능 제공하기.
• 지연 도착 이벤트, 주기적 업데이트, 체인지로그 스트리밍과 같은 실제 사용 사례를 표준화된 SQL 확장 기능을 통해 지원하기.
• Apache Flink, Beam, Calcite의 구현 사례에서 얻은 실용적 통찰을 바탕으로 SQL 표준화 노력에 기여하기.

제안 방법

• 시간에 따라 변화하는 관계를 기본 개념으로 도입하여, 관계가 시간에 따라 변화하고 시간에서 관계로의 함수로 간주될 수 있도록 한다.
• 이벤트 시간 의미 체계를 제안하기 위해 SQL을 확장하여 이벤트에 연결된 타임스탬프를 네이티브로 처리할 수 있도록 하여, 순서가 어긋난 데이터의 정확한 처리를 가능하게 한다.
• 결과의 Materialization 빈도와 시기를 제어하기 위해 EMIT AFTER DELAY 및 EMIT AFTER WATERMARK를 선택적 키워드로 도입한다.
• 스트림의 Materialization를 지원하기 위해 쿼리 출력을 체인지로그(업데이트의 스트림)로 렌더링할 수 있도록 하여 재귀적 스트리밍 쿼리를 가능하게 한다.
• 주기적 및 워터마크 트리거 기반의 발행 방식을 모두 지원하는 탄력적인 Materialization 제어 모델을 정의하여 알림 및 고처리량 집계와 같은 사용 사례를 지원한다.
• 시간에 따라 변화하는 관계에 대해 포인트와이즈 적용을 통해 기존의 SQL 연산자(예: JOIN, GROUP BY, WINDOW)를 유지하면서도 전체 SQL 표현력을 그대로 보존한다.

실험 결과

연구 질문

• RQ1 표준 SQL은 어떻게 확장되어야 하며, 완전한 관계형 의미 체계를 유지하면서 스트리밍 데이터를 네이티브로 지원할 수 있는가?
• RQ2 SQL에서 정확하고 효율적인 이벤트 시간 처리를 가능하게 하기 위해 필요한 최소한의 문법적 확장은 무엇인가?
• RQ3 스트리밍 쿼리 결과의 Materialization는 어떻게 제어되어야 하며, 알림 및 고처리량 집계와 같은 다양한 사용 사례를 지원할 수 있는가?
• RQ4 시간에 따라 변화하는 관계는 배치 처리와 스트리밍 처리를 위한 통합적 기초로 기능할 수 있는가?
• RQ5 SQL은 어떻게 확장되어야 하며, 스트리밍 환경에서 커스텀 윈도잉 로직과 관련된 시간적 테이블 액세스를 지원할 수 있는가?

주요 결과

• 제안된 확장 기능 덕분에 표준 SQL 연산자 전부가 시간에 따라 변화하는 관계에 적용될 수 있어, 의미 제약 없이 일관되고 강력한 스트리밍 처리가 가능하다.
• 이벤트 시간 의미 체계는 시간에 따라 변화하는 관계를 통해 네이티브로 지원되어 순서가 어긋난 이벤트와 지연 도착 데이터를 정확히 처리할 수 있다.
• EMIT AFTER DELAY 및 EMIT AFTER WATERMARK와 같은 Materialization 제어 기능은 효율적이고 예측 가능하며 탄력적인 결과 발행을 가능하게 하여 실시간 및 배치 유사 패턴을 모두 지원한다.
• 프레임워크는 부분 결과의 주기적 업데이트 및 정시/지각된 행의 발행과 같은 복잡한 사용 사례를 지원하며, Beam 및 Flink의 구현 사례를 통해 이를 입증했다.
• 스트림 출력을 입력 스트림으로 소비할 수 있도록 허용함으로써 재귀적 스트리밍 쿼리를 가능하게 하여, 스트리밍 시스템 내에서 SQL의 표현력을 확장한다.
• 저자들은 최소한의 문법적으로 자연스러운 SQL 확장 기능이 기존 SQL 표준 및 도구들과의 호환성을 유지하면서도 배치 처리와 스트리밍 처리를 통합할 수 있음을 입증했다.