[論文レビュー] What Do Developers Ask About ML Libraries? A Large-scale Study Using Stack Overflow

Md Johirul Islam, Hoan Anh Nguyen+2 more|arXiv (Cornell University)|Jun 27, 2019

Software Engineering Research被引用数 11

ひとこと要約

本研究では、10の代表的な機械学習ライブラリに関する3,243件の高評価のStack Overflow質問を分析し、開発者が直面する一般的な課題を特定した。手動ラベリングと統計的分析を用いた結果、モデル作成とデータ準備が最も困難な段階であり、型の不一致、パラメータ選定、APIの誤用がライブラリを問わず継続的な問題であることが判明。これにより、機械学習ソフトウェア工学分野における静的解析の向上とAPI設計の改善が、極めて重要な課題であることが浮き彫りになった。

ABSTRACT

Modern software systems are increasingly including machine learning (ML) as an integral component. However, we do not yet understand the difficulties faced by software developers when learning about ML libraries and using them within their systems. To that end, this work reports on a detailed (manual) examination of 3,243 highly-rated Q&A posts related to ten ML libraries, namely Tensorflow, Keras, scikit-learn, Weka, Caffe, Theano, MLlib, Torch, Mahout, and H2O, on Stack Overflow, a popular online technical Q&A forum. We classify these questions into seven typical stages of an ML pipeline to understand the correlation between the library and the stage. Then we study the questions and perform statistical analysis to explore the answer to four research objectives (finding the most difficult stage, understanding the nature of problems, nature of libraries and studying whether the difficulties stayed consistent over time). Our findings reveal the urgent need for software engineering (SE) research in this area. Both static and dynamic analyses are mostly absent and badly needed to help developers find errors earlier. While there has been some early research on debugging, much more work is needed. API misuses are prevalent and API design improvements are sorely needed. Last and somewhat surprisingly, a tug of war between providing higher levels of abstractions and the need to understand the behavior of the trained model is prevalent.

研究の動機と目的

• 実際の開発現場で機械学習ライブラリを使用する際に、ソフトウェア開発者が直面する具体的な困難を理解すること。
• 機械学習パイプラインのどの段階が最もエラーを出しやすく、時間がかかるかを特定すること。
• 特定のライブラリに特有の問題か、それとも機械学習自体に起因する根本的な問題かを特定すること。
• 特にディープラーニングの台頭に伴い、機械学習ライブラリの使いやすさに変化が生じたかどうかを評価すること。

提案手法

• TensorFlow、Keras、scikit-learn、Weka、Caffe、Theano、MLlib、Torch、Mahout、H2Oの10の代表的な機械学習ライブラリに関連する3,243件の高評価のStack Overflow投稿を収集した。
• 機械学習の専門知識を持つ3名の博士課程学生による手動ラベリングを実施し、対象となる質問の分類に高い一貫性を達成。矛盾は対面会議で解決した。
• 機械学習パイプラインの7段階（データ準備、モデル作成、学習、評価、予測、デプロイ、ハイパーパramータチューニング）に質問を分類した。
• スコアの閾値を用いて高品質な投稿を選別し、ライブラリや時間的期間ごとの問題頻度を統計的に比較分析した。
• 個々のライブラリの強み・弱みを比較するため、ライブラリ内分析とライブラリ間分析の両方を実施した。
• 2015年から2018年までの時間的傾向を把握するため、質問の件数とトピック分布の推移を分析した。

実験結果

リサーチクエスチョン

• RQ1 機械学習パイプラインの中で、開発者にとって最も困難な段階はどれか？
• RQ2 開発者が直面する問題は、特定の機械学習ライブラリに特有のものか、それとも機械学習自体に起因するものか？
• RQ3 どの機械学習ライブラリが、さまざまな段階において最も困難な課題を抱えており、それぞれの相対的な強み・弱みは何か？
• RQ4 機械学習ライブラリの使いやすさに関する困難は、時間経過とともに一定であったか、それともディープラーニングの台頭や新しい抽象化の登場に伴い変化したのか？

主な発見

• モデル作成が機械学習パイプラインの中で最も困難な段階であり、それに次いでデータ準備が困難であった。質問の数が多く、複雑性も最も高かった。
• 型の不一致、データクリーニングの問題、ハイパーパramータの選定が、すべてのライブラリで最も頻出する問題であり、APIの使いやすさに起因する体系的な課題を示している。
• H2OとMahoutは、初期のパイプライン段階（データ準備とモデル作成）において、他のライブラリと比べて著しく高い困難を示しており、開発者支援の不足や直感的でないAPI設計が原因である可能性がある。
• scikit-learnは、モデル作成やハイパーパramータチューニングに関連するサブカテゴリの質問の割合が高かった。これは、成熟したライブラリでも使いやすさの課題が依然として深刻であることを示している。
• 2017年以降、データ準備の困難さが増加した。これは、ディープラーニングの台頭とKerasやTensorFlowといったハイレベルなライブラリの人気上昇と一致しており、ディープラーニングワークフローにおけるデータ処理の複雑さが増していることを示唆している。
• 学習関連の問題は、時間経過とともにゆっくりと増加傾向にあり、これはディープラーニングモデルの複雑化とリソース要件の増大に起因すると考えられる。一方、評価関連の問題は10年間にわたり安定したままであり、未解決のままだった。