[논문 리뷰] The Case for a Structured Approach to Managing Unstructured Data

AnHai Doan, Jeff Naughton외 11명|ArXiv.org|2009. 09. 09.

Big Data and Business Intelligence인용 수 29

한 줄 요약

이 논문은 구조화되지 않은 데이터를 다루는 데 있어 관계형 데이터베이스 원칙을 응용한 체계적인 접근 방식을 주장한다. 이는 점점 증가하는 반구조적 및 비구조적 데이터 처리 과제에 대응하기 위함이다. 논문은 비구조적 데이터를 위한 데이터 모델링, 스키마 탐색, 쿼리 처리를 통합한 프레임워크를 제안하며, 이러한 방법론적 기반은 빅데이터 시대에 AI, IR, 산업계 플레이어로부터 데이터베이스 커뮤니티가 리더십을 회복하기 위해 필수적이라고 주장한다.

ABSTRACT

The challenge of managing unstructured data represents perhaps the largest data management opportunity for our community since managing relational data. And yet we are risking letting this opportunity go by, ceding the playing field to other players, ranging from communities such as AI, KDD, IR, Web, and Semantic Web, to industrial players such as Google, Yahoo, and Microsoft. In this essay we explore what we can do to improve upon this situation. Drawing on the lessons learned while managing relational data, we outline a structured approach to managing unstructured data. We conclude by discussing the potential implications of this approach to managing other kinds of non-relational data, and to the identify of our field.

연구 동기 및 목표

• 비구조적 데이터를 다루는 데 증가하는 과제를 해결하기 위해, 데이터베이스 커뮤니티의 데이터 관리 분야에서의 리더십을 약화시키는 것을 방지하기 위해.
• AI, KDD, IR, 웹, 구글, 마이크로소프트와 같은 산업계 플레이어가 비구조적 데이터 관리 분야에서 지배력을 강화하는 것을 방지하기 위해.
• 스키마 모델링, 데이터 무결성, 쿼리 최적화와 같은 검증된 관계형 데이터베이스 원칙을 비구조적 데이터 워크로드에 적응시키기 위해.
• 확장성, 정확성, 사용성에 기여하는 일관되고 원칙적인 기반을 마련하기 위해 비구조적 데이터 관리에 대한 체계적인 기초를 확립하기 위해.
• 비구조적 데이터 처리를 첫 번째 연구 및 엔지니어링 영역으로 공식화함으로써 데이터베이스 분야의 정체성과 관련성을 재확인하기 위해.

제안 방법

• 관계형 데이터베이스 시스템에서 영감을 얻은 체계적인 방법론을 채택하여, 비구조적 데이터에 대한 스키마 유추 및 데이터 모델링을 수행하기 위해.
• 정보 검색, 자연어 처리, 의미 웹 기술 기법을 통합된 데이터 관리 스택에 통합하기 위해.
• 비구조적 데이터의 데이터 수집, 스키마 탐색, 인덱싱, 쿼리 처리를 분리하는 계층적 아키텍처를 제안하기 위해.
• 반구조적 및 비구조적 데이터 환경에서 트랜잭션 관리, 쿼리 최적화, 무결성 제약 조건과 같은 검증된 데이터베이스 개념을 활용하기 위해.
• 일致한 쿼리 및 저장 작업을 위한 기초로 공식 데이터 모델(예: XML, JSON, 또는 그래프 기반 모델)을 사용하기 위해.
• 비구조적 데이터의 체계적이고 재현 가능하며 확장 가능한 관리를 가능하게 하는 도구 및 표준을 제안하기 위해.

실험 결과

연구 질문

• RQ1 AI 및 IR 커뮤니티의 비구조적 데이터 분야에서의 지배력 증가에 대비하여 데이터베이스 커뮤니티가 어떻게 비구조적 데이터 관리 분야에서 리더십을 회복할 수 있는가?
• RQ2 관계형 데이터베이스 시스템의 어떤 원칙이 비구조적 및 반구조적 데이터를 효과적으로 관리하는 데 적응될 수 있는가?
• RQ3 비구조적 데이터의 가용성 향상을 위해 적용할 수 있는 체계적 구성 요소(예: 스키마 유추, 인덱싱, 쿼리 최적화)는 무엇인가?
• RQ4 비구조적 데이터 관리에 대한 공식적이고 원칙적인 접근 방식은 데이터 품질, 일관성, 성능 향상에 어떻게 기여하는가?
• RQ5 이러한 체계적 접근 방식의 장기적 영향은 데이터베이스 연구 분야의 정체성과 향후 방향성에 어떻게 작용하는가?

주요 결과

• 데이터베이스 커뮤니티가 비구조적 데이터에 대한 체계적이고 원칙적인 접근 방식을 개발하지 못할 경우, 데이터 관리 분야에서 관련성이 상실될 위험이 있다.
• 스키마 모델링, 쿼리 최적화, 무결성 제약 조건과 같은 핵심 데이터베이스 개념은 비구조적 데이터에 적응시켜 가용성과 신뢰성을 향상시킬 수 있다.
• 비구조적 데이터 시스템에서 체계적인 접근 방식은 비계획적 또는 히우리스틱 방법에 비해 더 뛰어난 확장성, 정확성, 상호운용성을 제공한다.
• 정보 검색, AI, 의미 웹 커뮤니티의 기법을 통합된 데이터베이스 프레임워크에 융합하면 더 견고하고 유지보수 용이한 데이터 관리 시스템을 얻을 수 있다.
• 이러한 프레임워크를 도입하면 데이터베이스 분야의 정체성을 재확인하고, 데이터 중심 연구 및 혁신 분야에서의 지속적인 리더십을 확보할 수 있다.
• 논문은 향후 데이터 관리 시스템을 위해 비구조적 데이터를 관계형 데이터와 동일한 철학으로 다루는 것이 필수적이라고 결론 내린다.