[논문 리뷰] Code Code Evolution: Understanding How People Change Data Science Notebooks Over Time

Deepthi Raghunandan, Aayushi Roy외 3명|arXiv (Cornell University)|2022. 09. 06.

Scientific Computing and Data Management인용 수 1

한 줄 요약

이 논문은 2,574개의 노트북에 대한 GitHub 버전 기록을 분석하여 데이터 과학자가 Jupyter 노트북에서 시간이 지남에 따라 사고의 구조화 행동을 정량적으로 추적할 수 있는 방법을 제안한다. 회귀 모델을 사용해 노트북을 탐색-설명 스펙트럼에 따라 점수화함으로써, 연구는 저자가 탐색적 작업과 설명적 작업(예: 주석 달기, 분기 분석, 문서화 등) 사이를 반복적으로 이동함을 밝혀내었으며, 이는 비선형적이고 반복적인 데이터 과학 워크플로우를 더 잘 지원할 수 있도록 노트북 도구의 설계에 대한 권고를 이끌어냈다.

ABSTRACT

Sensemaking is the iterative process of identifying, extracting, and explaining insights from data, where each iteration is referred to as the “sensemaking loop.” However, little is known about how sensemaking behavior evolves from exploration and explanation during this process. This gap limits our ability to understand the full scope of sensemaking, which in turn inhibits the design of tools that support the process. We contribute the first mixed-method to characterize how sensemaking evolves within computational notebooks. We study 2,574 Jupyter notebooks mined from GitHub by identifying data science notebooks that have undergone significant iterations, presenting a regression model that automatically characterizes sensemaking activity, and using this regression model to calculate and analyze shifts in activity across GitHub versions. Our results show that notebook authors participate in various sensemaking tasks over time, such as annotation, branching analysis, and documentation. We use our insights to recommend extensions to current notebook environments.

연구 동기 및 목표

• 데이터 과학자가 시간이 지남에 따라 컴퓨팅 노트북에서 사고의 구조화 행동이 어떻게 변화하는지, 특히 탐색과 설명 사이의 전환을 이해하는 것.
• 정적 및 버전 관리된 콘텐츠를 활용해 노트북의 탐색적 또는 설명적 성향을 측정할 수 있는 확장 가능한 정량적 방법을 개발하는 것.
• GitHub 커밋을 기반으로 한 노트북의 구조적 및 행동적 변화를 분석하여 반복적인 데이터 과학 실천 패턴을 밝혀내는 것.
• 비선형적이고 목표 중심이며 진화하는 사고의 구조화 과정을 더 잘 지원할 수 있도록 노트북 도구의 설계를 개선하는 것.
• 이론적 사고의 구조화 모델과 실제 노트북 사용 간 격차를 메우기 위해 공개된 버전 관리된 노트북을 분석함으로써 이론과 실천을 연결하는 것.

제안 방법

• 저자는 공개된 GitHub 리포지토리에서 2,574개의 Jupyter 노트북을 수집하고 분석하였으며, 특히 중요한 수정 기록을 가진 노트북에 집중하였다.
• 이전 연구 기반의 척도를 적용하여 코드 밀도, 마크다운 셀 사용량, 시각화 빈도 등의 특징을 바탕으로 각 노트북이 탐색-설명 스펙트럼에서 어디에 위치하는지 점수를 할당하였다.
• 노트북 콘텐츠에서 이 사고의 구조화 점수를 자동으로 예측할 수 있도록 회귀 모델을 학습시켜, 여러 버전에 걸친 대규모 분석을 가능하게 하였다.
• 노트북 점수의 변화를 GitHub 커밋 간에 추적하여 시간이 지남에 따라 사고의 구조화 행동이 어떻게 변화하는지 파악하였다.
• 연구는 정량적 분석과 정성적 통찰을 융합한 혼합 방법론을 사용하여 발견 결과를 검증하고 공개 리포지토리 데이터의 한계를 보완하였다.
• 노트북의 진화 패턴에서 유추된 설계 권고 사항은 특히 목표 추적, 분기 분석, 종속성 관리와 관련된 사항들이다.

실험 결과

연구 질문

• RQ1 버전 관리된 Jupyter 노트북에서 데이터 과학자가 시간이 지남에 따라 사고의 구조화 행동이 탐색과 설명 사이에서 어떻게 변화하는가?
• RQ2 노트북의 구조적 및 콘텐츠 기반 특징 중에서 탐색적 또는 설명적 활동으로의 전환과 관련된 것은 무엇인가?
• RQ3 저자가 마크다운 셀, 코드 셀, 시각화 기능 등의 노트북 기능을 어떻게 활용하여 반복적인 분석 과정을 관리하고 문서화하는가?
• RQ4 공개된 GitHub 리포지토리가 실제 세계의 데이터 과학적 사고의 구조화 전반을 충분히 반영하고 있는가? 이 데이터 소스에는 어떤 편향이 존재하는가?
• RQ5 노트북 환경에서 비선형적이고 반복적인 데이터 과학 워크플로우를 더 잘 지원할 수 있는 설계 개선 사항은 무엇인가?

주요 결과

• 분석된 노트북 중 40% 이상에서 저자가 시간이 지남에 따라 탐색적 모드와 설명적 모드를 최소 두 번 이상 전환하는 것으로 나타났다.
• 후기 버전에서 주석 달기 및 목표 설정을 위한 마크다운 셀 사용이 크게 증가하여, 분석 과정이 진행될수록 문서화와 설명에 대한 강조가 커지고 있음을 시사한다.
• 고도로 수정된 노트북의 28%에서 분기 분석(여러 분석 경로를 동시에 추적하고 비교하는 방식)이 관찰되어, 비선형적 탐색이 일반적임을 시사한다.
• 높은 설명 점수를 가진 노트북는 더 많은 시각화와 구조화된 마크다운를 포함한 반면, 탐색적 노트북는 더 높은 코드 밀도와 더 적은 주석을 특징으로 한다.
• 회귀 모델은 사고의 구조화 점수를 82%의 정확도로 성공적으로 예측하여, 이 방법의 대규모 노트북 진화 분석에 대한 신뢰성을 입증하였다.
• 저자는 버전 관리를 단순히 코드 변경만 추적하기 위해 사용하는 것이 아니라, 여러 분석 경로와 목표를 관리하기 위해 활용함을 확인하여, 이러한 실천 방식을 더 잘 지원할 수 있는 도구 개선이 필요하다는 점을 시사한다.