[論文レビュー] Testing with Jupyter notebooks: NoteBook VALidation (nbval) plug-in for pytest

Hans Fangohr, Vidar Tonaas Fauske+6 more|arXiv (Cornell University)|Jan 13, 2020

Software Engineering Research参考文献 7被引用数 6

ひとこと要約

この論文では、nbval を紹介する。nbval は、セルを再実行して出力を保存済みの出力と比較することで、Jupyter ノートブックの出力を検証する pytest プラグインであり、再現可能性とテストカバレッジを保証する。ノートブックを実行可能なドキュメント、ユニットテスト、統合テスト、システムテストとして利用可能にし、出力のクリーニング、エラー処理、nbdime を通じたリッチな差分表示をサポートする。

ABSTRACT

The Notebook validation tool nbval allows to load and execute Python code from a Jupyter notebook file. While computing outputs from the cells in the notebook, these outputs are compared with the outputs saved in the notebook file, treating each cell as a test. Deviations are reported as test failures, with various configuration options available to control the behaviour. Application use cases include the validation of notebook-based documentation, tutorials and textbooks, as well as the use of notebooks as additional unit, integration and system tests for the libraries that are used in the notebook. Nbval is implemented as a plugin for the pytest testing software.

研究の動機と目的

• 下位のライブラリが進化するに従い、時間の経過とともにノートブックの再現性が保たれるようにする挑戦に応えること。
• Jupyter ノートブックがコード、ドキュメント、チュートリアルの実行可能なテストとして機能できるようにすること。
• CI/CD パイプラインで出力比較を自動化することで、手動での検証の負荷を軽減すること。
• 意図しない出力の変更を検出することで、安全なコードのリファクタリングを可能にすること。
• pytest に統合された軽量でプラグインベースのソリューションを提供し、シームレスなテストワークフローを実現すること。

提案手法

• nbval は、IPython カーネルを使用して Jupyter ノートブック内の各セルを読み込み実行する。
• 各セルの再計算された出力を、事前にノートブックファイルに保存された出力と比較する。
• 厳密モードまたは緩いモードで動作し、セルのメタデータタグ（例：nbval-check-output および nbval-ignore-output）を介して動作をカスタマイズ可能である。
• 正規表現を用いた出力のクリーニングにより、タイムスタンプやメモリアドレスなどの変動する値を無視できる。
• nbdime と統合することで、画像やマルチメディア出力の比較を含むリッチな差分表示が可能になる。
• 検証中にセルをスキップする（nbval-skip）か、例外を無視する（nbval-raises-exception）ことが可能である。

実験結果

リサーチクエスチョン

• RQ1 Jupyter ノートブックは、科学的およびデータサイエンスのコードに対する自動テストとして効果的に使用できるか？
• RQ2 依存関係が変更される中で、時間の経過とともにノートブックの出力再現性を自動的に検証する方法は何か？
• RQ3 ノートブックの出力に含まれる変動する値（例：タイムスタンプ、メモリアドレス）を信頼性高く比較するためのメカニズムは何か？
• RQ4 ノートブック検証を継続的インテグレーションパイプラインに統合する方法は何か？
• RQ5 ノートブックがメンテナンス負荷を増加させることなく、ドキュメントとテストスイートの両方として使用できる範囲はどの程度か？

主な発見

• コードの変更により以前に保存された出力から逸脱した場合、nbval はノートブック内の出力不一致を効果的に検出できる。
• 正規表現ベースのクリーニングの使用により、時刻や環境依存の値を含む出力の信頼性のある比較が可能になる。
• nbdime との統合により、画像やマルチメディア出力の視覚的比較が可能になり、差分のデバッグが容易になる。
• nbval で検証されたノートブックはシステムテストとして利用可能となり、追加のテストコードなしでテストカバレッジが向上する。
• プラグインは段階的なテストおよびドキュメントのメンテナンスをサポートし、研究用ソフトウェアプロジェクトにおける技術的負債を低減する。
• nbval により、ノートブックの検証を早期かつ継続的に行えるようになり、レグレッションの防止と長期的な再現性の確保が可能になる。