[논문 리뷰] Dead or Alive: Continuous Data Profiling for Interactive Data Science

Will Epperson, Vaishnavi Gorantla외 2명|arXiv (Cornell University)|2023. 08. 08.

Data Visualization and AnalyticsComputer Science인용 수 3

한 줄 요약

이 논문은 데이터프레임의 데이터 분포와 요약 통계를 자동으로 실시간으로 상호작용 가능한 시각화 요약과 함께 표시함으로써 지속적이고 실시간 데이터 프로파일링을 가능하게 하는 Jupyter 노트북 확장인 AutoProfiler을 소개한다. 사용자 연구에서 91%의 통찰은 수동 프로그래밍이 아닌 도구를 통해 발견되었으며, 실시간 및 수요 기반 프로파일링이 상호작용형 데이터 과학 워크플로우에서 통찰 발견과 데이터 품질 인식을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Profiling data by plotting distributions and analyzing summary statistics is a critical step throughout data analysis. Currently, this process is manual and tedious since analysts must write extra code to examine their data after every transformation. This inefficiency may lead to data scientists profiling their data infrequently, rather than after each transformation, making it easy for them to miss important errors or insights. We propose continuous data profiling as a process that allows analysts to immediately see interactive visual summaries of their data throughout their data analysis to facilitate fast and thorough analysis. Our system, AutoProfiler, presents three ways to support continuous data profiling: it automatically displays data distributions and summary statistics to facilitate data comprehension; it is live, so visualizations are always accessible and update automatically as the data updates; it supports follow up analysis and documentation by authoring code for the user in the notebook. In a user study with 16 participants, we evaluate two versions of our system that integrate different levels of automation: both automatically show data profiles and facilitate code authoring, however, one version updates reactively and the other updates only on demand. We find that both tools facilitate insight discovery with 91% of user-generated insights originating from the tools rather than manual profiling code written by users. Participants found live updates intuitive and felt it helped them verify their transformations while those with on-demand profiles liked the ability to look at past visualizations. We also present a longitudinal case study on how AutoProfiler helped domain scientists find serendipitous insights about their data through automatic, live data profiles. Our results have implications for the design of future tools that offer automated data analysis support.

연구 동기 및 목표

• 상호작용형 데이터 과학 워크플로우에서 수동 데이터 프로파일링의 비효율성과 일관성 부족 문제를 해결하기 위해.
• 데이터 프로파일 생성을 자동화하여 탐색적 데이터 분석(EDA)의 인지적 부담과 시간 소모를 줄이기 위해.
• 실시간 프로파일링과 수요 기반 프로파일링이 통찰 발견과 사용자 워크플로우 통합에 미치는 영향을 평가하기 위해.
• 자동화된 도구가 어떻게 우연한 통찰 발견을 지원하고 후속 분석을 위한 코드 내보내기를 촉진할 수 있는지 탐색하기 위해.

제안 방법

• AutoProfiler는 데이터프레임이나 컬럼이 생성되거나 업데이트될 때마다 자동으로 해당 데이터의 분포와 요약 통계를 표시하도록 Jupyter 노트북에 통합된다.
• 시스템은 실시간으로 업데이트되며, 메모리 내 현재 데이터 상태를 반영하는 시각화를 보장한다.
• 사용자 경험과 성능를 비교하기 위해 수요 기반 프로파일링을 정적이고 인라인 대안으로 제공한다.
• 시각화 및 데이터 작업을 위한 재사용 가능한 코드 템플릿을 생성하여, 사용자가 인터페이스에서 직접 분석 코드를 내보내고 수정할 수 있도록 한다.
• 지속적인 프로파일링이 실제 데이터 과학 작업에서 예상치 못한 데이터 품질 통찰을 이끌어내는지 관찰하기 위해 종단적 사례 연구를 수행했다.
• 16명의 참가자가 참여한 통제된 사용자 연구를 통해 실시간 및 수요 기반 버전의 AutoProfiler를 비교하여 통찰 생성 능력과 사용성 평가를 수행했다.

Figure 1 : AutoProfiler shows distributions and summary information depending on the column type. For quantitative columns, we show a binned histogram along with summary statistics. On hover, the user can see the count in each bin or export the selection to code. We also show a summary with extra in

실험 결과

연구 질문

• RQ1 실시간 데이터 프로파일링과 수요 기반 프로파일링이 데이터 분석 중 통찰 발견을 지원하는 데 있어 어떻게 비교되는가?
• RQ2 자동화된 데이터 프로파일이 수동 프로파일링 코드 의존도를 얼마나 줄이는가?
• RQ3 사용자들이 상호작용형 데이터 과학 워크플로우에서 실시간 프로파일링과 정적 프로파일링의 사용성과 가치를 어떻게 평가하는가?
• RQ4 자동화된 데이터 프로파일링 도구가 데이터 품질 문제의 우연한 발견을 어떻게 지원할 수 있는가?
• RQ5 코드 내보내기 기능이 후속 분석 및 문서화를 지원하는 데 얼마나 효과적인가?

주요 결과

• 연구 기간 동안 사용자가 생성한 통찰의 91%가 수동으로 작성된 프로파일링 코드가 아닌 AutoProfiler 도구에서 유래했다.
• 실시간 버전을 사용한 참가자들은 업데이트가 직관적이고 데이터 변환 과정을 실시간으로 검증하는 데 도움이 된다고 평가했다.
• 수요 기반(정적) 버전을 사용한 참가자들은 과거 시각화를 검토하고 데이터 상태를 비교할 수 있는 기능을 높이 평가했다.
• 종단적 사례 연구에서 지속적 프로파일링이 도메인 과학자들이 평균 분포와 이질적 값과 같은 예상치 못한 데이터 품질 문제를 자동으로 지속적인 시각화를 통해 발견하는 데 기여했다.
• 코드 내보내기 기능은 사용자가 코드를 처음부터 작성하지 않고도 빠르게 시각화를 수정하고 확장할 수 있어 매우 유용하게 평가되었다.
• 실시간 및 수요 기반 버전의 AutoProfiler는 모두 EDA에 필요한 노력의 양을 크게 줄였으며, 미세한 데이터 품질 문제를 탐지할 가능성을 높였다.

Figure 2 : AutoProfiler updates the data profiles shown as soon as the data updates. In this example, Pandas parses the sqft column as a string type since some of the values initially have strings in them. Once the dataframe u pdates in memory, AutoProfiler will update the profile shown. This way th