[논문 리뷰] A Survey on Array Storage, Query Languages, and Systems

Florin Rusu, Yu Cheng|arXiv (Cornell University)|2013. 02. 01.

DNA and Biological Computing참고 문헌 43인용 수 29

한 줄 요약

이 종합 검토는 대규모 과학적 데이터 처리를 위한 어레이 스토리지, 쿼리 언어 및 시스템에 대한 종합적이고 통합된 분석을 제공한다. 어레이 조각화 전략을 평가하고, 제안된 어레이 대수 연산자들을 비교하며, SciDB와 같은 실제 시스템을 벤치마킹하여 빅데이터 응용 분야에서 어레이 처리 분야의 핵심 연구 격차와 향후 방향을 규명한다.

ABSTRACT

Since scientific investigation is one of the most important providers of massive amounts of ordered data, there is a renewed interest in array data processing in the context of Big Data. To the best of our knowledge, a unified resource that summarizes and analyzes array processing research over its long existence is currently missing. In this survey, we provide a guide for past, present, and future research in array processing. The survey is organized along three main topics. Array storage discusses all the aspects related to array partitioning into chunks. The identification of a reduced set of array operators to form the foundation for an array query language is analyzed across multiple such proposals. Lastly, we survey real systems for array processing. The result is a thorough survey on array data storage and processing that should be consulted by anyone interested in this research topic, independent of experience level. The survey is not complete though. We greatly appreciate pointers towards any work we might have forgotten to mention.

연구 동기 및 목표

• 수십 년에 걸친 어레이 처리 연구를 종합적으로 요약한 통합 자료의 부족을 해결하기 위해.
• 어레이 스토리지 기법, 특히 조각화, 디스크 구성 및 다중 디스크 레이아웃을 분석하기 위해.
• 다양한 제안 사례들 간의 어레이 연산자 및 쿼리 언어의 설계 및 도입을 평가하기 위해.
• 어레이 처리를 위한 실제 시스템을 조사하여 실행 전략과 기능에 중점을 두기 위해.
• 과학적 워크로드를 위한 어레이 데이터 관리 분야에서 현재 및 향후 연구 과제를 규명하기 위해.

제안 방법

• 다차원 이산 도메인 위의 함수로 어레이를 형식화하기 위해.
• 조각화 기법을 조사하여, 조각 크기 선택, 스토리지 레이아웃, 단일 및 다중 디스크 간의 조직 방식을 포함하기 위해.
• 어레이 대수 제안 사례를 분석하여 어레이 쿼리 언어의 기초가 되는 최소한의 기본 연산자 집합을 규명하기 위해.
• 어레이 처리 시스템을 평가하며, SciDB의 아키텍처와 실행 모델에 대한 깊이 있는 분석을 수행하기 위해.
• 복잡한 어레이 연산과 UDF를 포함한 표준 과학 DBMS 벤치마크(SS-DB)를 사용하여 시스템을 벤치마킹하기 위해.
• 어디서도 추적 가능한 원천 정보를 확보하기 위해 라인저인 추적 전략을 비교 분석하기 위해 — 블랙박스, 셀 수준, 영역 수준, 매핑 라인저인.

실험 결과

연구 질문

• RQ1 확장 가능한 과학적 데이터 처리에 있어 가장 효과적인 어레이 스토리지 및 조각화 전략은 무엇인가?
• RQ2 실용적인 어레이 쿼리 언어를 구성할 수 있는 최소한이면서 가장 표현력 있는 어레이 연산자 집합은 무엇인가?
• RQ3 SciDB와 같은 실제 시스템은 어레이 연산을 어떻게 구현하며, 그 성능 트레이드오프는 무엇인가?
• RQ4 SS-DB와 같은 벤치마크는 어레이 처리 능력을 진정으로 측정하는가, 아니면 UDF의 구현 품질에 더 영향을 받는가?
• RQ5 어레이 워크플로우에서 라인저인 메커니즘은 정밀도, 스토리지 비용, 쿼리 효율성 간의 균형을 어떻게 유지하는가?

주요 결과

• 최소한의 어레이 연산자 집합에 대한 합의가 존재하지 않으며, 여러 제안 사례가 보편적 채택 없이 공존하고 있다.
• SciDB는 대규모 어레이 처리를 위한 가장 성숙한 시스템으로, 복잡한 UDF와 고급 라인저인 추적을 지원한다.
• SS-DB 벤치마크는 컬럼형 스토리지와 병렬 처리를 강조하는 방식으로 시스템 성능을 측정하나, 반드시 어레이 전용 프리미티브를 반영하는 것은 아니다.
• 매핑 라인저인은 좌표 변환 함수만 저장함으로써 스토리지 오버헤드를 줄이며, 필요 시에만 라인저인을 계산할 수 있도록 한다.
• 셀 수준 및 영역 수준 라인저인은 세밀한 원천 정보를 제공하지만, 특히 큰 어레이의 경우 높은 스토리지 비용을 수반한다.
• 1990년대의 많은 초기 어레이 처리 아이디어들이 진화하거나 재발견되었으며, 이는 연구 분야가 성숙하고 있음에도 불구하고 아직 분산되어 있음을 시사한다.