[논문 리뷰] METAM: Goal-Oriented Data Discovery

Sainyam Galhotra, Yue Gong외 1명|arXiv (Cornell University)|2023. 04. 18.

Data Quality and ManagementDecision Sciences인용 수 3

한 줄 요약

Metam는 데이터 성질, 유틸리티 함수의 단조성, 해집합의 희박성 등을 활용하여 개입 쿼리를 통해 목표 지향적인 데이터 탐색 프레임워크를 도입하여 유용한 데이터셋 보완을 자동으로 식별하고 우선순위를 정합니다. 최소한의 쿼리로 높은 유틸리티 성과를 달성하며, 다양한 머신러닝 및 인과 추론 작업에서 기존 기준을 초월합니다.

ABSTRACT

Data is a central component of machine learning and causal inference tasks. The availability of large amounts of data from sources such as open data repositories, data lakes and data marketplaces creates an opportunity to augment data and boost those tasks' performance. However, augmentation techniques rely on a user manually discovering and shortlisting useful candidate augmentations. Existing solutions do not leverage the synergy between discovery and augmentation, thus under exploiting data. In this paper, we introduce METAM, a novel goal-oriented framework that queries the downstream task with a candidate dataset, forming a feedback loop that automatically steers the discovery and augmentation process. To select candidates efficiently, METAM leverages properties of the: i) data, ii) utility function, and iii) solution set size. We show METAM's theoretical guarantees and demonstrate those empirically on a broad set of tasks. All in all, we demonstrate the promise of goal-oriented data discovery to modern data science applications.

연구 동기 및 목표

• 기존 데이터 탐색 시스템이 목표 인식 능력 부족으로 인해 작업 관련 보완을 식별하지 못하는 한계를 해결하기 위해.
• 하류 작업이 탐색을 이끄는 피드백 루프를 만들어 데이터 탐색과 데이터 보완 간 격차를 해소하기 위해.
• 사용자가 사전에 기준을 지정할 필요 없이 유용한 조인 가능한 데이터셋의 선택을 자동화하여 수동 작업을 줄이기 위해.
• 데이터, 유틸리티 함수, 희박한 해집합의 구조적 특성을 활용하여 대규모 데이터 저장소에서의 쿼리 효율성을 최적화하기 위해.

제안 방법

• Metam는 의미적 유사도, 상관관계, 상호정보량과 같은 데이터 프로파일을 사용하여 보완을 군집화하고 중복 탐색을 줄입니다.
• Thompson 샘플링을 적용하여 기대 유틸리티 증가량에 기반해 군집을 순위 매겨 하류 작업 성능 향상 가능성이 가장 높은 것을 우선순위로 정합니다.
• 작업 구현을 감싸는 방식으로 유틸리티 함수의 단조성을 강제하여 성능을 떨어뜨리는 보완을 기각합니다.
• 조합 테스팅을 활용하여 큰 조합보다 작은 조인 경로의 조합을 우선순위로 정함으로써 유용한 보완의 희박성을 활용합니다.
• 임의의 알고리즘을 통해 군집 품질과 유틸리티 추정치에 기반해 가장 유망한 후보를 적응적으로 쿼리함으로써 점진적으로 해를 개선합니다.
• 이 방법은 특정 하류 작업에 종속되지 않으며, 성능 평가를 위한 유틸리티 함수만 필요로 합니다.

실험 결과

연구 질문

• RQ1 하류 작업과 데이터 탐색 간 피드백 루프를 구축함으로써, 기존의 탐색-다음에 보완하는 파이프라인에 비해 유용한 데이터셋 보완 식별 능력을 향상시킬 수 있는가?
• RQ2 데이터 프로파일의 유사성과 같은 데이터 성질을 어떻게 활용하여 대규모 데이터 저장소에서 후보 쿼리 수를 줄일 수 있는가?
• RQ3 유틸리티 함수의 단조성을 강제함으로써 탐색 과정의 효율성과 견고성이 얼마나 향상되는가?
• RQ4 조인 경로에 대한 조합 테스팅을 통해 완전한 열거 없이도 희박한 고유틸리티 보완 집합을 효과적으로 우선순위로 정할 수 있는가?
• RQ5 군집화, 순위 매기기, 적응형 쿼리링의 통합이 실제 데이터 탐색 작업에서 쿼리 효율성과 해 품질에 어떤 영향을 미치는가?

주요 결과

• Metam는 수백만 개의 후보 중에서 몇 분 내로 유용한 보완을 식별하여 확장성과 효율성을 입증합니다.
• 클러스터링과 Thompson 샘플링을 효과적으로 통합함으로써 중복 쿼리를 방지함으로써, 모든 아블레이션 버전(Eq, Nc, NcEq)을 뛰어넘는 성능을 달성합니다.
• 클러스터링 하이퍼파라미터 ε의 변화가 쿼리 수에 미치는 영향이 미미하여 클러스터 밀도 변화에 대해 강건함을 보입니다.
• 분류, 회귀, 인과 추론(만약-어떻게 분석), 엔티티 연결, 군집화 등 다양한 작업에서 높은 유틸리티 성과를 달성합니다.
• 아블레이션 연구를 통해 클러스터링을 무시하는(Nc) 경우 또는 균일한 순위 매기기(Eq)를 사용하는 경우 성능이 크게 떨어지며, 제안된 구성 요소 간의 상호보완성이 검증됩니다.
• 도메인 전문가가 간과할 수 있는 비직관적인 보완—예를 들어 택시 운행 횟수나 슈퍼마켓 유무—과 주택 가격 간의 상관관계를 효과적으로 식별함으로써 이 방법의 유효성을 입증합니다.