[논문 리뷰] Auctus: A Dataset Search Engine for Data Augmentation

Sonia Castelo, Rémi Rampin외 4명|arXiv (Cornell University)|2021. 02. 10.

Data Quality and Management참고 문헌 22인용 수 5

한 줄 요약

Auctus는 실제 데이터셋 내용을 프로파일링하여 시간적, 공간적, 조인/유니온 연산을 포함한 고급 다중 조건 쿼리가 가능한 데이터셋 검색 엔진입니다. 이는 데이터 발견 및 증강을 지원하며, 보완적인 데이터셋을 원활하게 통합함으로써 기계학습 모델을 향상시킵니다. 자전거 이용 예측 작업에서 R² 점수를 0.25에서 0.56으로 향상시켰습니다.

ABSTRACT

The large volumes of structured data currently available, from Web tables to open-data portals and enterprise data, open up new opportunities for progress in answering many important scientific, societal, and business questions. However, finding relevant data is difficult. While search engines have addressed this problem for Web documents, there are many new challenges involved in supporting the discovery of structured data. We demonstrate how the Auctus dataset search engine addresses some of these challenges. We describe the system architecture and how users can explore datasets through a rich set of queries. We also present case studies which show how Auctus supports data augmentation to improve machine learning models as well as to enrich analytics.

연구 동기 및 목표

• 메타데이터가 불완전하거나 일관되지 않아 다양한 분산 저장소에서 관련된 구조화된 데이터셋을 발견하는 데 어려움이 존재하는 문제를 해결합니다.
• 키워드 검색을 넘어서 공간적, 시간적, 데이터 통합 조건을 포함한 표현력 있는 쿼리를 사용자가 수행할 수 있도록 합니다.
• 유사한 데이터셋을 식별하고 결합하여 기계학습 모델 성능을 향상시키는 데이터 증강을 지원합니다.
• 웹 검색의 익숙함과 데이터 분석 시각화를 융합한 직관적인 웹 기반 인터페이스를 제공하여 효과적인 데이터셋 탐색을 가능하게 합니다.
• REST 및 파이썬 API를 통해 외부 분석 도구와의 통합을 지원하여 데이터 과학 워크플로우에서의 활용을 가능하게 합니다.

제안 방법

• Socrata, Zenodo, 월드뱅크 오픈데이터 등 다양한 소스와 사용자 업로드를 통해 확장 가능한 플러그인을 통해 데이터셋을 수신합니다.
• 맞춤형 데이터 프로파일러를 사용하여 데이터셋의 컬럼 수준 메타데이터를 추출합니다. 여기에는 데이터 유형, 공간 및 시간 필드, 데이터 스케치 등이 포함됩니다.
• 구조화된 메타데이터와 프로파일링된 정보를 인덱싱하여 시간 범위, 지리적 지역, 조인/유니온 조건을 포함한 복잡한 쿼리의 효율적 평가를 가능하게 합니다.
• 웹 인터페이스를 통해 키워드, 공간, 시간, 통합 조건을 하나의 검색에서 조합할 수 있도록 쿼리 조합을 지원합니다.
• 쿼리에 포함된 데이터셋 간 및 외부 데이터셋 간에 결합 가능한 컬럼을 자동으로 탐지하고, 집계 함수를 통해 실시간으로 데이터 증강을 가능하게 합니다.
• 결과를 REST API와 파이썬 클라이언트를 통해 노출하고, 후속 작업을 위한 CSV 및 D3M 형식으로 증강된 데이터셋의 물리적 저장(물리화)을 지원합니다.

실험 결과

연구 질문

• RQ1 메타데이터가 불완전하거나 일관되지 않을 경우, 키워드 기반 검색을 넘어서 데이터셋 발견을 어떻게 향상시킬 수 있을까요?
• RQ2 데이터셋 내용의 자동 프로파일링이 얼마나 더 풍부하고 표현력 있는 쿼리로 이어질 수 있을까요?
• RQ3 조인 및 유니온과 같은 데이터 통합을 지원하는 검색 엔진이 기계학습 모델의 학습 데이터 품질과 유용성을 크게 향상시킬 수 있을까요?
• RQ4 웹 검색과 데이터 분석 메타포를 융합한 통합 인터페이스는 비전문가 사용자가 데이터셋을 발견하고 증강하는 데 얼마나 효과적인가요?
• RQ5 검색 엔진을 통한 자동 데이터 증강이 실제 사용 사례에서 예측 모델 성능에 어떤 영향을 미칠까요?

주요 결과

• Auctus는 공간적, 시간적, 데이터 통합 연산을 포함한 복잡한 다중 조건 쿼리를 성공적으로 지원하여, 단순 키워드 매칭을 넘어서 데이터셋을 발견하고 결합할 수 있도록 했습니다.
• 자전거 이용 예측 작업에서 Auctus를 통해 강수량과 같은 기상 데이터를 증강함으로써 R² 점수를 0.25에서 0.56으로 향상시켜 실질적인 성능 향상을 입증했습니다.
• 시스템은 사회적 갈등 분석 데이터베이스(Social Conflict Analysis Database, SCAD)를 격자 기반 갈등 데이터셋과 결합하여, 국가 기반 폭력의 예측 변수로 기능하는 불안정 사건을 분석할 수 있도록 했습니다.
• Auctus의 프로파일러는 다양한 데이터셋에서 공간적 및 시간적 필드를 정확하게 탐지하여, 19,000개 이상의 인덱싱된 데이터셋에 대한 효율적 인덱싱 및 쿼리 처리를 가능하게 했습니다.
• REST 및 파이썬 API를 통한 외부 분석 도구와의 통합을 통해 데이터 과학 워크플로우에서의 원활한 워크플로우 자동화를 실현했습니다.
• 사용자 상호작용 연구 결과, 검색과 시각화 메타포를 융합한 하이브리드 인터페이스가 사용자가 데이터셋의 관련성과 호환성을 탐색하고 검증하는 능력을 향상시켰습니다.