[論文レビュー] Themisto: Towards Automated Documentation Generation in Computational Notebooks.

April Yi Wang, Dakuo Wang+7 more|arXiv (Cornell University)|Feb 24, 2021

Software Engineering Research参考文献 51被引用数 8

ひとこと要約

Themisto は、深層学習、クエリベースの API リトリーブ、ユーザーのプロンプトを組み合わせることで、計算ノートブックの文書化作業を自動化するシステムである。24名の実務者を対象に評価した結果、文書化に要する作業時間を著しく削減し、見過ごされたコードの文書化を思い出させる効果があった。

ABSTRACT

Computational notebooks allow data scientists to express their ideas through a combination of code and documentation. However, data scientists often pay attention only to the code, and neglect creating or updating their documentation during quick iterations, which leads to challenges in sharing their notebooks with others and future selves. Inspired by human documentation practices from analyzing 80 highly-voted Kaggle notebooks, we design and implement Themisto, an automated documentation generation system to explore the Human-AI Collaboration opportunity in the code documentation scenario. Themisto facilitates the creation of different types of documentation via three approaches: a deep-learning-based approach to generate documentation for source code (fully automated), a query-based approach to retrieve the online API documentation for source code (fully automated), and a user prompt approach to motivate users to write more documentation (semi-automated). We evaluated Themisto in a within-subjects experiment with 24 data science practitioners, and found that automated documentation generation techniques reduced the time for writing documentation, reminded participants to document code they would have ignored, and improved participants' satisfaction with their computational notebook.

研究の動機と目的

• 計算ノートブックがデータサイエンス分野で広く使われているにもかかわらず、文書化が不一致・不完全であるという課題に対処すること。
• 80件の高評価 Kaggle ノートブックを分析することで、人間と AI の協働によるコード文書化のあり方を探ること。
• 完全自動化された深層学習、自動化された API リトリーブ、および準自動化されたユーザーのプロンプトの3つのアプローチを組み合わせた文書生成手法を設計・実装すること。
• 実際のデータサイエンスワークフローにおいて、自動文書化が時間効率、文書化の完全性、ユーザー満足度に与える影響を評価すること。

提案手法

• Themisto は深層学習モデルを用いて、ソースコードから自然言語による文書を直接生成することで、完全自動化された文書作成を可能にする。
• コードスニペットの関連するオンライン API ドキュメントを取得するクエリベースのアプローチを採用し、外部リソースに自動的にリンクする。
• 文書化の欠落を浮き彫りにすることで、データサイエンティストが自ら文書を書くよう促すユーザーのプロンプトメカニズムを導入し、準自動文書作成を支援する。
• 3つのアプローチを計算ノート内での統合インターフェースに統合し、スムーズな文書生成を実現する。
• 実世界の文書化実務を反映させるために、80件の高評価 Kaggle ノートブックの分析に基づいた設計がなされている。
• ユーザーの使いやすさと影響を評価するため、24名のデータサイエンティストを対象に被験者内実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 自動文書化生成は、計算ノートブックにおけるコード文書化に要する時間にどのように影響するか？
• RQ2 自動化技術は、ユーザーがそうでなければ省略する可能性のあるコードの文書化を、どの程度思い出させるか？
• RQ3 自動化ツールを用いることで、ノートブックの文書化に対するユーザー満足度はどのように変化するか？
• RQ4 深層学習、クエリベースのリトリーブ、ユーザーのプロンプトの3つの手法のうち、どれが文書化品質の向上に最も効果的か？
• RQ5 データサイエンティストは、実際のノートブックワークフローにおいて、AI補助文書化をどのように認識し、どのように操作するか？

主な発見

• 自動文書化生成は、手動による文書作成と比較して、文書作成に要する時間を著しく短縮した。
• 参加者に対して、そうでなければ無視されがちなコードの文書化を思い出させる機能が有効に機能し、文書化の完全性が向上した。
• 参加者は Themisto を使用することで、特に認知的負荷の軽減のおかげで、ノートブックの文書化に対してより高い満足度を示した。
• 深層学習およびクエリベースのリトリーブ手法は、ユーザーの入力を一切不要としながらも、関連性の高い文書を効果的に生成した。
• ユーザーのプロンプト手法は、複雑または自明でないコードに対して、参加者が追加の文書を書くよう効果的に促した。
• 総じて、Themisto はデータサイエンス分野における文書化品質およびワークフロー効率の向上に強く期待できることが示された。