[논문 리뷰] Dataset-On-Demand: Automatic View Search and Presentation for Data Discovery

Raul Castro Fernandez, Nan Tang외 3명|arXiv (Cornell University)|2019. 11. 26.

Data Quality and Management참고 문헌 28인용 수 4

한 줄 요약

이 논문은 사용자가 원하는 스키마를 지정할 수 있도록 허용함으로써 이질적인 데이터 소스 간에 의미적으로 올바른 데이터 뷰를 자동으로 탐색하는 Dataset-On-Demand (DoD) 시스템을 소개한다. 새로운 4C 분류 방법—호환성, 포함성, 보완성, 모순성—을 사용함으로써 DoD는 후보 뷰의 수를 2–10배 감소시켜 사용자가 몇 분 내로 크게 줄어든 집합에서 정확한 뷰를 효율적으로 선택할 수 있도록 한다.

ABSTRACT

Many data problems are solved when the right view of a combination of datasets is identified. Finding such a view is challenging because of the many tables spread across many databases, data lakes, and cloud storage in modern organizations. Finding relevant tables, and identifying how to combine them is a difficult and time-consuming process that hampers users' productivity. In this paper, we describe Dataset-On-Demand (DoD), a system that lets users specify the schema of the view they want, and have the system find views for them. With many underlying data sources, the number of resulting views for any given query is high, and the burden of choosing the right one is onerous to users. DoD uses a new method, 4C, to reduce the size of the view choice space for users. 4C classifies views into 4 classes: compatible views are exactly the same, contained views present a subsumption relationship, complementary views are unionable, and contradictory views have incompatible values that indicate fundamental differences between views. These 4 classes permit different presentation strategies to reduce the total number of views a user must consider. We evaluate DoD on two key metrics of interest: its ability to reduce the size of the choice space, and the end to end performance. DoD finds all views within minutes, and reduces the number of views presented to users by 2-10x.

연구 동기 및 목표

• 현대 기업에서 대규모이고 이질적인 데이터 소스 간에 정확한 데이터 뷰를 찾는 문제를 해결한다.
• 사용자가 원하는 뷰를 위해 테이블과 조인을 조합할 때 발생하는 인지적 부담과 시간 소모를 줄인다.
• 기존의 쿼리-예시 기반 시스템이 기본 키-외래 키 그래프를 가정하고 있어 의미적 모호성이나 잘못된 조인을 처리할 수 없는 한계를 극복한다.
• 사용자가 스키마 지식 없이 또는 수동으로 조인 경로를 정의하지 않고도 원하는 뷰의 속성과 표본 튜플을 통해 지정할 수 있도록 한다.
• 의미적 및 구조적 분석을 활용해 후보 뷰를 지능적으로 줄이고 분류함으로써 사용자의 참여를 최종 선택 단계로 최소화한다.

제안 방법

• 사용자 입력을 원하는 속성과 표본 튜플을 지정하여 목표 스키마를 정의하는 쿼리 뷰 형태로 수락한다.
• 모든 가능한 테이블 조합과 조인 경로를 탐색함으로써 쿼리를 만족하는 모든 후보 뷰를 자동으로 탐지한다.
• 4C 분류 방법을 적용하여 뷰를 네 가지 의미적 카테고리로 그룹화한다: 호환성(동일), 포함성(포함), 보완성(합칠 수 있음), 모순성(불일치하는 값).
• 특성 의미, 값 겹침, 구조 일관성 기반으로 4C 추적 알고리즘을 사용하여 뷰를 이러한 카테고리로 감지하고 그룹화한다.
• 호환성 뷰를 결합하고 포함성 뷰를 제거하며 보완성 또는 모순성 뷰를 강조하여 사용자의 인지 부담을 줄이는 프레젠테이션 전략을 구현한다.
• 샘플링 조인과 쿼리 푸시다운 기법을 사용하여 대규모 테이블에서 메모리 및 실행 시간을 관리함으로써 뷰 검색 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 사용자가 이질적이고 분산된 데이터 소스 간에 원하는 데이터 뷰를 지정할 때 후보 뷰의 수를 어떻게 줄일 수 있는가?
• RQ2 사용자 선택을 위한 직관적인 전략을 지원하기 위해 효과적인 의미적 및 구조적 기준은 무엇인가?
• RQ3 정확성과 성능을 유지하면서도 사용자의 참여를 최소화할 수 있는 시스템은 실세계 데이터 환경에서 얼마나 효과적인가?
• RQ4 의미적으로 다른 뷰(예: 근무지 주소 vs. 거주지 주소)를 구분하는 데 4C 분류 방법이 모호하거나 잘못된 조인 상황에서도 얼마나 효과적인가?
• RQ5 자동화된 뷰 검색 및 분류가 전통적인 수동 또는 히ュ리스틱 기반의 데이터 탐색 방법보다 얼마나 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• DoD는 4C 분류를 통해 후보 뷰 선택 공간을 2~10배 감소시켜 사용자의 인지 부담을 크게 줄였다.
• 시스템은 몇 분 내로 모든 후보 뷰를 발견하며, 작은 쿼리의 경우 종종 10초 이내에 완료되어 강력한 종단 간 성능을 보였다.
• 4C 방법은 의미적 유사성, 포함성, 합칠 수 있는 성질, 불일치성 기반으로 뷰를 효과적으로 식별하고 그룹화하여 의미 있는 프레젠테이션 전략을 가능하게 했다.
• 샘플링 조인과 쿼리 푸시다운 최적화 덕분에 기준 구현 대비 종단 간 실행 시간이 4~6배 감소했다.
• 기본 키-외래 키 그래프를 가정하지 않아 의미적 이질성과 잘못된 조인을 처리할 수 있어 실세계 환경에서의 강건성을 확보했다.
• 다중 행 프레젠테이션 전략은 뷰를 요약함으로써 사용자의 참여를 추가로 줄였으며, 사용자가 압축되고 의미적으로 그룹화된 집합에서 최종 선택을 할 수 있도록 했다.