[論文レビュー] Better Code, Better Sharing:On the Need of Analyzing Jupyter Notebooks

Jiawei Wang, Li Li+1 more|arXiv (Cornell University)|Jun 12, 2019

Digital Humanities and Scholarship参考文献 8被引用数 8

ひとこと要約

この論文は、コード品質と再現可能性を向上させるために、Jupyterノートブックの体系的でプログラムによる分析を主張している。予備的な研究を通じて、ノートブックには使われていない変数や非推奨関数といった、悪いコーディング習慣がしばしば見られることが示された。著者らは、科学的および教育的文脈において誤ったコードが広がるのを防ぐために、コミュニティ全体がノートブックの品質管理に注意を向けるべきだと提言する。

ABSTRACT

By bringing together code, text, and examples, Jupyter notebooks have become one of the most popular means to produce scientific results in a productive and reproducible way. As many of the notebook authors are experts in their scientific fields, but laymen with respect to software engineering, one may ask questions on the quality of notebooks and their code. In a preliminary study, we experimentally demonstrate that Jupyter notebooks are inundated with poor quality code, e.g., not respecting recommended coding practices, or containing unused variables and deprecated functions. Considering the education nature of Jupyter notebooks, these poor coding practices as well as the lacks of quality control might be propagated into the next generation of developers. Hence, we argue that there is a strong need to programmatically analyze Jupyter notebooks, calling on our community to pay more attention to the reliability of Jupyter notebooks.

研究の動機と目的

• ソフトウェア工学の経験が限られた分野の専門家が作成したJupyterノートブックにおける、悪いコーディング習慣の広がりを調査すること。
• ノートブックの広範な使用に伴い、科学的および教育的文脈で低品質なコードが広がるリスクを浮き彫りにすること。
• Jupyterノートブックに特化した自動分析ツールの開発を提唱することにより、より良いコーディング基準を守ることを促進すること。
• 研究者およびソフトウェア工学コミュニティに対して、ノートブックワークフローにおける品質管理の必要性を啓発すること。
• Jupyterノートブックの静的および動的解析に関する今後の研究の基盤を築くこと。

提案手法

• GitHubから公開されているJupyterノートブックのサンプルを対象に、予備的な実証的調査を実施すること。
• 静的コード解析技術を用いて、使われていない変数、定義されていない変数、非推奨関数などの一般的なコード品質の問題を検出すること。
• 自然言語処理およびAST（抽象構文木）パーサーを用いて、ノートブックのセル内のコード構造と意味を分析すること。
• 確立されたソフトウェア工学のベストプラクティスおよびコミュニティ基準に基づいて、コード品質を評価すること。
• コード、テキスト、出力コンponentsを分離することで、モジュラで拡張可能なノートブックコンテンツ解析のフレームワークを設計すること。
• 品質チェックをノートブック作成および共有ワークフローに統合するためのパイプラインを提案すること。

実験結果

リサーチクエスチョン

• RQ1 Jupyterノートブックに、使われていない変数や非推奨関数といった低品質なコードがどの程度含まれているか。
• RQ2 ノートブックにおけるコーディング習慣は、確立されたソフトウェア工学の基準と比べてどのように異なるか。
• RQ3 ノートブックにおける低品質なコードが、再現可能性および教育的成果に与える影響は何か。
• RQ4 ノートブック環境でコード品質の問題を効果的に検出できる自動分析技術は何か。
• RQ5 ソフトウェア工学コミュニティは、ノートブックベースの科学的ワークフローに品質管理をどのように統合すべきか。

主な発見

• Jupyterノートブックの顕著な割合が、メンテナンス性を低下させる悪いコーディング習慣を示す使われていない変数を含んでいる。
• 多くのノートブックが非推奨関数を使用しており、実行時エラーのリスクを高め、長期的なメンテナンス性を低下させている。
• 研究では、著者の教育的および科学的意図にもかかわらず、ノートブックにおけるコーディング習慣が確立されたソフトウェア工学のベストプラクティスに違反していることが判明した。
• 低品質なコードの広がりは、ノートブック作成におけるシステム的問題を示しており、再現可能性および学習成果に悪影響を及ぼす可能性がある。
• 結果から、コード品質の検出および改善の促しを可能にする自動分析ツールの緊急の必要性が強調された。
• 著者らは、科学的コンピューティングにおける信頼性および教育的整合性を保証するため、ノートブックにおける能動的コード分析が不可欠であると結論づけた。