[논문 리뷰] Dataspace architecture and manage its components class projection

Nataliya Shakhovska, Yurii Bolubash|arXiv (Cornell University)|2019. 05. 03.

Advanced Database Systems and Queries참고 문헌 8인용 수 4

한 줄 요약

이 논문은 클래스 프로젝션과 블록 벡터 표현을 통해 이질적인 데이터 소스의 유연하고 스키마에 구애받지 않는 통합을 가능하게 하는 데이터스페이스 아키텍처를 제안한다. 이는 사전 의미적 통합 노력의 감소를 초래한다. 이 아키텍처는 SQL Server Integration Services (SSIS)와 MVC 패턴을 사용하여 구현되었으며, 백ус-노어 포맷(BNF)으로 정의된 쿼리 번역기 포함하여, 엄격한 스키마 정렬 없이도 확장 가능한 데이터 통합 접근 방식을 보여준다.

ABSTRACT

Big Data technology is described. Big data is a popular term used to describe the exponential growth and availability of data, both structured and unstructured. There is constructed dataspace architecture. Dataspace has focused solely - and passionately - on providing unparalleled expertise in business intelligence and data warehousing strategy and implementation. Dataspaces are an abstraction in data management that aims to overcome some of the problems encountered in data integration system. In our case it is block vector for heterogeneous data representation. Traditionally, data integration and data exchange systems have aimed to offer many of the purported services of dataspace systems. Dataspaces can be viewed as a next step in the evolution of data integration architectures, but are distinct from current data integration systems in the following way. Data integration systems require semantic integration before any services can be provided. Hence, although there is not a single schema to which all the data conforms and the data resides in a multitude of host systems, the data integration system knows the precise relationships between the terms used in each schema. As a result, significant up-front effort is required in order to set up a data integration system. For realization of data integration from different sources we used SQL Server Integration Services, SSIS. For developing the portal as an architectural pattern there is used pattern Model-View-Controller (MVC). There is specifics debug operation data space as a complex system. The query translator in Backus/Naur Form is give.

연구 동기 및 목표

• 기존 데이터 통합 시스템에서 높은 사전 의미적 통합 비용을 해결하기 위해.
• 통일된 스키마가 필요 없이도 이질적인 데이터 소스의 탄력적이고 동적 통합을 가능하게 하기 위해.
• 복잡한 데이터 연산과 쿼리 번역을 지원하는 데이터스페이스 아키텍처를 설계하기 위해.
• 실제 데이터 관리 및 포털 개발을 위한 프로토타입을 SSIS와 MVC를 사용해 구현하기 위해.
• 데이터스페이스 내에서 표준화된 쿼리 처리를 위한 백스-노어 포맷(BNF)으로 정의된 쿼리 번역기 정의하기 위해.

제안 방법

• 이질적인 데이터를 위한 클래스 프로젝션과 블록 벡터 표현을 통해 데이터 소스를 추상화하는 데이터스페이스 아키텍처 설계.
• 다양한 소스에서의 ETL 프로세스와 데이터 통합을 가능하게 하기 위해 SQL Server Integration Services (SSIS) 사용.
• 데이터 액세스를 위한 모듈화되고 유지보수가 쉬운 포털 개발을 위해 모델-뷰-컨트롤러(MVC) 아키텍처 패턴 적용.
• 데이터스페이스 전반에서 쿼리 표준화 및 처리를 위해 백스-노어 포맷(BNF)을 사용해 쿼리 번역기 정의.
• 사전에 정의된 스키마 매핑이 필요 없이도 동적 데이터 액세스를 지원하도록 데이터스페이스 구조화.
• 실제 적용 가능성을 확보하기 위해 비즈니스 인텔리전스 및 데이터 웨어하우징 사용 사례에 집중.

실험 결과

연구 질문

• RQ1 어떻게 데이터스페이스 아키텍처가 데이터 통합 시스템에서 사전 의미적 통합의 필요성을 줄일 수 있는가?
• RQ2 통일된 스키마 없이도 이질적인 데이터 소스를 관리하기 위해 필수적인 아키텍처 구성 요소는 무엇인가?
• RQ3 클래스 프로젝션과 블록 벡터는 다양한 데이터 유형을 통합된 추상화로 효과적으로 표현할 수 있는가?
• RQ4 MVC 패턴은 데이터 관리 포털의 개발과 유지보수를 어떻게 향상시키는가?
• RQ5 백스-노어 포맷(BNF)으로 정의된 쿼리 번역기는 분산된 데이터스페이스 전반에서 표준화된 쿼리 처리를 어떻게 가능하게 하는가?

주요 결과

• 제안된 데이터스페이스 아키텍처는 데이터 통합과 스키마 정렬을 분리하여 초기 설정 복잡도를 감소시켰다.
• 클래스 프로젝션과 블록 벡터 표현은 공통 스키마가 필요 없이도 이질적인 데이터의 효과적인 모델링을 가능하게 한다.
• SSIS의 사용은 이질적인 데이터 소스 간의 신뢰성 있는 ETL 작업과 데이터 이동을 촉진한다.
• MVC 기반의 포털 구현은 데이터 액세스 및 관리에 대한 확장 가능하고 유지보수가 쉬운 인터페이스를 제공한다.
• BNF로 정의된 쿼리 번역기는 데이터스페이스 전반에서 일관되고 형식화된 쿼리 처리를 가능하게 한다.
• 이 접근 방식은 복잡하고 이질적인 환경에서 비즈니스 인텔리전스 및 데이터 웨어하우징 워크로드에 대해 실현 가능함을 입증한다.