[論文レビュー] Code Code Evolution: Understanding How People Change Data Science Notebooks Over Time

Deepthi Raghunandan, Aayushi Roy+3 more|arXiv (Cornell University)|Sep 6, 2022

Scientific Computing and Data Management被引用数 1

ひとこと要約

本稿では、2,574個のノートブックのGitHubのバージョン履歴を分析することで、データサイエンティストが時間経過とともに意味づけ行動をどのように進化させるかを定量化する手法を提案する。回帰モデルを用いてノートブックを探索的から説明的へと向かうスケールにスコア付けすることで、研究では、著者が時間経過とともに注釈、分岐分析、文書化などのタスクを探索的および説明的に行い、繰り返し切り替えることが頻繁に起こることを明らかにした。これにより、非線形的で反復的なデータサイエンスワークフローをよりよくサポートするためのノートブックツールの設計に関する提言が得られた。

ABSTRACT

Sensemaking is the iterative process of identifying, extracting, and explaining insights from data, where each iteration is referred to as the “sensemaking loop.” However, little is known about how sensemaking behavior evolves from exploration and explanation during this process. This gap limits our ability to understand the full scope of sensemaking, which in turn inhibits the design of tools that support the process. We contribute the first mixed-method to characterize how sensemaking evolves within computational notebooks. We study 2,574 Jupyter notebooks mined from GitHub by identifying data science notebooks that have undergone significant iterations, presenting a regression model that automatically characterizes sensemaking activity, and using this regression model to calculate and analyze shifts in activity across GitHub versions. Our results show that notebook authors participate in various sensemaking tasks over time, such as annotation, branching analysis, and documentation. We use our insights to recommend extensions to current notebook environments.

研究の動機と目的

• 時間の経過とともにデータサイエンティストの意味づけ行動が、特に探索的と説明的との間でどのように変化するかを理解すること。
• 静的およびバージョン管理されたコンテンツを用いて、ノートブックの探索的・説明的性質を測定するスケーラブルで定量化可能な手法を開発すること。
• GitHubのコミット履歴を通じてノートブックの構造的・行動的変化を分析し、反復的データサイエンス実践のパターンを解明すること。
• 非線形的で目的指向的かつ進化する意味づけプロセスをよりよく支援するためのノートブックツールの設計を支援すること。
• 理論的な意味づけモデルと現実世界のノートブック利用状況のギャップを、公開済みでバージョン管理されたノートブックを分析することで埋めること。

提案手法

• 著者は、著者による大幅な変更履歴を持つノートブックに焦点を当て、公開GitHubリポジトリから2,574個のJupyterノートブックを収集・分析した。
• コード密度、Markdownセルの使用頻度、可視化の頻度などの特徴を用いて、先行研究に基づく評価基準を適用し、各ノートブックに探索的から説明的へ向かうスケール上の位置を表すスコアを割り当てた。
• ノートブックの内容からこの意味づけスコアを自動的に予測できる回帰モデルを訓練し、複数のバージョンにわたる大規模な分析を可能にした。
• GitHubのコミット履歴に沿ってノートブックスコアの変化を追跡し、時間経過に伴う意味づけ行動のシフトを特定した。
• 研究では、公開リポジトリデータに内在する限界を補うために、定量的分析と定性的な洞察を組み合わせた混合研究法を採用した。
• 特に目的の追跡、分岐分析、依存関係管理に関する観察されたパターンから、ツール設計の提言が導き出された。

実験結果

リサーチクエスチョン

• RQ1 バージョン管理されたJupyterノートブックにおいて、データサイエンティストの意味づけ行動は、時間経過とともに探索的と説明的の間でどのようにシフトするか？
• RQ2 ノートブックの構造的およびコンテンツベースの特徴のうち、どの特徴がより探索的または説明的な活動へのシフトと相関しているか？
• RQ3 著者は、Markdownセル、コードセル、可視化などのノートブック機能を、反復的分析プロセスの管理と文書化にどのように活用しているか？
• RQ4 公開GitHubリポジトリは、現実世界のデータサイエンスの意味づけの全貌をどれだけ正確に反映しているのか。このデータソースにどのようなバイアスが存在するのか？
• RQ5 ノートブック環境における非線形的で反復的なデータサイエンスワークフローをよりよく支援するための、どのような設計的改善が可能か？

主な発見

• ノートブックの著者は、時間経過とともに探索的と説明的モードを頻繁に切り替えている。分析対象の40％のノートブックで、複数のバージョンにわたって意味づけ行動に少なくとも2回のシフトが確認された。
• 注釈や目的設定のためのMarkdownセルの使用は、後続のバージョンで顕著に増加しており、分析が進むにつれて文書化と説明の重視が高まっていることを示している。
• 分岐分析（複数の分析経路を同時に追求・比較する）は、変更履歴が長いノートブックの28％で観察され、非線形的探索が一般的であることが示された。
• 説明的スコアが高いノートブックは、可視化が多く、構造化されたMarkdownを多く含む一方、探索的ノートブックはコード密度が高く、注釈が少ない傾向にあった。
• 回帰モデルは82％の正確度で意味づけスコアを予測でき、本手法の大規模なノートブックの進化分析における信頼性が裏付けられた。
• 著者はバージョン管理を単にコード変更の追跡のためだけに使っているのではなく、複数の分析経路や目的の管理のためにも使用しており、この実践をよりよく支援するためのツール改善の必要性が浮き彫りになった。