[논문 리뷰] FEDEX: An Explainability Framework for Data Exploration Steps

Daniel Deutch, Amir Gilad외 3명|arXiv (Cornell University)|2022. 09. 13.

Data Visualization and Analytics인용 수 5

한 줄 요약

FEDEX는 사용자가 정의한 또는 문헌에 근거한 관심도 측정 기준을 사용하여 특정 데이터 탐색 작업이 왜 흥미로운지 식별하고 설명하는 새로운 설명 가능성 프레임워크이다. FEDEX는 설명 품질과 효율성에서 기준 성능을 충족하거나 초월하는 확장 가능한 최적화 전략(sysopt)을 도입하였으며, 실제 데이터셋을 대상으로 한 광범위한 실험과 사용자 연구를 통해 검증되었다.

ABSTRACT

When exploring a new dataset, Data Scientists often apply analysis queries, look for insights in the resulting dataframe, and repeat to apply further queries. We propose in this paper a novel solution that assists data scientists in this laborious process. In a nutshell, our solution pinpoints the most interesting (sets of) rows in each obtained dataframe. Uniquely, our definition of interest is based on the contribution of each row to the interestingness of different columns of the entire dataframe, which, in turn, is defined using standard measures such as diversity and exceptionality. Intuitively, interesting rows are ones that explain why (some column of) the analysis query result is interesting as a whole. Rows are correlated in their contribution and so the interesting score for a set of rows may not be directly computed based on that of individual rows. We address the resulting computational challenge by restricting attention to semantically-related sets, based on multiple notions of semantic relatedness; these sets serve as more informative explanations. Our experimental study across multiple real-world datasets shows the usefulness of our system in various scenarios.

연구 동기 및 목표

• 사용자의 작업이 왜 흥미로운지에 중점을 두고, 단지 작업을 추천하는 데서 벗어나 설명 가능한 데이터 탐색의 격차를 메운다.
• 흥미로움의 근본 원인을 설명하는 프레임워크를 제공함으로써, 이러한 설명을 정의하고 측정하는 데 발생하는 과제를 해결한다.
• 기존 EDA 도구와의 통합을 가능하게 하여 사용자 행동과 추천되는 작업에 대한 설명을 제공한다.
• 이전 연구에 기반한 확장 가능한 사용자 정의 흥미로움 측정 기준을 통해 일반화를 지원한다.
• 실세계 데이터셋을 대상으로 철저한 평가를 통해 확장성과 고품질의 설명을 입증한다.

제안 방법

• 쿼리 설명이나 패턴 탐지와는 다름없이 사용자가 주도하는 데이터 탐색 작업의 흥미로움을 설명하는 새로운 작업을 제안한다.
• 놀라움, 최대 집합, 시각화 추천 등의 이전 연구 원칙을 바탕으로 흥미로움을 정의함으로써 이론적이고 실용적인 기반을 확보한다.
• 가능한 설명의 탐색 공간을 샘플링하고 잘라내는 방식으로 효율적으로 설명을 계산하는 확장 가능한 최적화 엔진(sysopt)을 구현한다.
• 모듈러한 프레임워크를 통해 사용자 정의 흥미로움 측정 기준을 지원하여 도메인 특화 요구사항에 맞게 맞춤화할 수 있도록 한다.
• 사용자 행동과 추천 뷰 모두에 대해 인간이 이해할 수 있고 일관된 설명을 생성함으로써 기존 EDA 시스템과 통합한다.
• 합성 데이터셋과 실제 데이터셋(예: Spotify, 신용카드, 제품)을 조합하여 다양한 데이터 크기와 컬럼 수에서 성능과 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 주어진 데이터 탐색 작업이 왜 흥미로운지 설명을 정의하고 계산하는 방법은 무엇인가?
• RQ2 EDA에서 흥미로움에 대한 의미 있고 일관되며 효율적인 설명을 생성할 때의 주요 과제는 무엇인가?
• RQ3 데이터 크기와 차원 수가 증가함에 따라 제안된 프레임워크는 어떻게 확장되는가?
• RQ4 사용자 정의 흥미로움 측정 기준은 실제로 효과적으로 통합되고 검증될 수 있는가?
• RQ5 최적화된 시스템(sysopt)의 성능과 설명 품질은 기존 기준 대비 어떻게 비교되는가?

주요 결과

• sysopt 최적화 전략은 전체 FEDEX 프레임워크와 동일한 수준의 품질의 설명을 생성하지만, 계산 시간을 크게 줄였다.
• 1,000만 행으로 확장된 데이터셋에서도 sysopt는 정밀도가 높게 유지되었으며(정밀도@k, 켄달-타우, nDCG 측정), 데이터 크기에 관계없이 정확도가 안정되었다.
• 대부분의 데이터셋에서 sysopt는 기준 대비 빠른 런타임을 보였으며, 1,000만 행일 경우 62.4초(기준인 seedb의 154.9초 대비)로 실행 시간이 현저히 줄었다. Spotify 데이터셋에서는 데이터 특성 탓에 약간 느린 편이었지만 여전히 경쟁 가능했다.
• 프레임워크는 사용자 정의 흥미로움 측정 기준을 성공적으로 지원하여 도메인 맞춤화를 가능하게 하였으며, 기존 문헌과의 일치를 유지했다.
• 인터랙티브 사용자 연구 결과, sysopt를 사용한 사용자는 독립적인 EDA를 수행한 사용자보다 훨씬 더 많은 통찰을 발견했다. 이는 설명의 실용적 유용성을 검증한 것이다.
• 개선된 프레임워크는 작업이 왜 흥미로운지 설명하는 데서의 독창성을 명확히 했으며, 기존 연구가 '쿼리가 무엇을 반환하는지' 또는 '다음에 어떤 작업을 해야 하는지'를 설명하는 데서 벗어나, 핵심 차이점을 명확히 했다.