[논문 리뷰] Reducing Property Graph Queries to Relational Algebra for Incremental View Maintenance

Gábor Szárnyas, József Marton외 2명|arXiv (Cornell University)|2018. 06. 19.

Graph Theory and Algorithms참고 문헌 58인용 수 3

한 줄 요약

이 논문은 속성 그래프 쿼리의 증분 뷰 유지(Incremental View Maintenance, IVM)를 가능하게 하기 위해 네스트된 관계대수 표현을 통해 이를 평탄한 관계대수로 환원하는 새로운 접근법을 제시한다. 이 방법은 식별망(Discrimination Networks)과 관계대수 기반 IVM 기법을 활용하여 데이터 업데이트 시 쿼리 결과를 효율적으로 유지하며, openCypher를 대상 언어로 사용하는 속성 그래프 데이터베이스에서 IVM을 위한 첫 번째 종합적인 솔루션을 마련한다.

ABSTRACT

The property graph data model of modern graph database systems is increasingly adapted for storing and processing heterogeneous datasets like networks. Many challenging applications with near real-time requirements -- e.g. financial fraud detection, recommendation systems, and on-the-fly validation -- can be captured with graph queries, which are evaluated repeatedly. To ensure quick response time for a changing data set, these applications would benefit from applying incremental view maintenance (IVM) techniques, which can perform continuous evaluation of queries and calculate the changes in the result set upon updates. However, currently, no graph databases provide support for incremental views. While IVM problems have been studied extensively over relational databases, views on property graph queries require operators outside the scope of standard relational algebra. Hence, tackling this problem requires the integration of numerous existing IVM techniques and possibly further extensions. In this paper, we present an approach to perform IVM on property graphs, using a nested relational algebraic representation for property graphs and graph operations. Then we define a chain of transformations to reduce most property graph queries to flat relational algebra and use techniques from discrimination networks (used in rule-based expert systems) to evaluate them. We demonstrate the approach using our prototype tool, ingraph, which uses openCypher, an open graph query language specified as part of an industry initiative. However, several aspects of our approach can be generalised to other graph query languages such as G-CORE and PGQL.

연구 동기 및 목표

• 실시간 응용 프로그램(예: 위법 탐지 및 추천 시스템)에 필수적인 증분 뷰 유지(IVM) 지원의 부족을 해결하기 위해.
• 스키마 선택적 모델, 중첩된 데이터 구조, 집계 및 도달 가능성과 같은 복잡한 연산을 포함한 속성 그래프에 전통적인 관계대수 IVM 기법을 적용하는 데 도전 과제를 극복하기 위해.
• openCypher 쿼리를 관계대수로 컴파일하고 기존 IVM 기법을 사용해 증분적으로 유지함으로써 효율적이고 지속적인 쿼리 평가를 가능하게 하기 위해.
• 옵션 패턴, 전이 폐쇄, 비분배 집계와 같은 고급 쿼리 기능을 지원하기 위해 이 접근법을 일반화하기 위해.
• 비용 기반 최적화 및 RDBMS 기반 시스템과의 통합을 위한 기반을 마련하기 위해, 속성 그래프 쿼리 처리를 증분 평가를 통해 RDBMS 기반 시스템과 통합하기 위해.

제안 방법

• 맵, 리스트, 컬렉션과 같은 복잡한 데이터 구조를 다룰 수 있도록 openCypher로 표현된 속성 그래프 쿼리를 네스트된 관계대수 표현으로 컴파일하기 위해.
• 네스트된 관계대수 표현식을 평탄한 관계대수로 환원하기 위한 변환 체인을 적용하여 기존 IVM 기법과의 호환성을 확보하기 위해.
• 기존에 규칙 기반 전문 시스템에 개발된 식별망을 활용하여 변환된 관계대수 표현을 효율적으로 평가하고 유지하기 위해.
• 선택, 투영, 자연조인, 세미조인, 안티조인, 외부조인과 같은 핵심 연산자에 대한 증분 유지 메커니즘을 통합하며, null 값 처리도 지원하기 위해.
• 요약-델타 기법을 통해 비분배 함수(예: min, max, stdev)를 포함한 복잡한 집계를 처리하기 위해 접근법을 확장하기 위해.
• 공간-시간 트레이드오프를 적용하여 그래프 환경에 맞게 조정된 전이 폐쇄 유지 기법을 통해 도달 가능성 쿼리를 지원하기 위해.

실험 결과

연구 질문

• RQ1 openCypher로 표현된 속성 그래프 쿼리는 의미를 유지하면서 체계적으로 평탄한 관계대수로 환원될 수 있는가?
• RQ2 관계대수 데이터베이스에서의 증분 뷰 유지 기법은 속성 그래프의 고유한 특성(예: 중첩된 데이터, 옵션 패턴)을 어떻게 다룰 수 있는가?
• RQ3 복잡한 그래프 쿼리(집계 및 도달 가능성 포함)의 효율적이고 정확한 증분 평가를 가능하게 하는 변환 파이프라인은 무엇인가?
• RQ4 특히 식별망 기반 기법을 포함한 기존 IVM 기법은 속성 그래프 쿼리 유지에 얼마나 재사용 가능한가?
• RQ5 제안된 접근법은 G-CORE나 PGQL와 같은 다른 그래프 쿼리 언어로 일반화될 수 있는가?

주요 결과

• 제안된 프레임워크는 광범위한 openCypher 쿼리의 클래스를 평탄한 관계대수로 성공적으로 환원하여 기존 IVM 기법을 사용한 증분 유지가 가능하다.
• 기존 IVM 연구에서 일반적으로 지원되지 않는 복잡한 기능인 옵션/안티 패턴, 외부조인, 비분배 집계도 지원한다.
• 식별망의 사용은 데이터 수정 시 변경 사항의 효율적 전파 및 결과 업데이트 계산을 가능하게 한다.
• 전이 폐쇄 쿼리의 증분 평가는 가능하지만, 지수적 메모리 요구량으로 인해 높은 메모리 비용이 수반된다.
• 프로토타입 구현인 ingraph는 openCypher를 사용한 속성 그래프에서의 증분 쿼리 평가를 종단 간(end-to-end)으로 지원한다.
• 이 작업은 향후 비용 기반 최적화 및 RDBMS 기반 그래프 뷰 물질화를 위한 기반 프레임워크를 구축한다.