[論文レビュー] What are the Machine Learning best practices reported by practitioners on Stack Exchange?

Anamaria Mojica-Hanke, Andrea Bayona+3 more|arXiv (Cornell University)|Jan 25, 2023

Software Engineering Research被引用数 4

ひとこと要約

本研究では、14のスタックオーバーフローリンクコミュニティから抽出された242件の高スコア投稿をマイニングし、4名の機械学習専門家による厳密な評価を通じて、127の機械学習ベストプラクティスを同定・検証した。これらのプラクティスは機械学習ライフサイクルの各段階に整理されており、ソフトウェア工学タスクを焦点にした具体的な例を含む。実践的で実証的根拠に基づくガイドとして、研究者および実務家が一般的な落とし穴を回避し、機械学習の実装品質を向上させることを支援する。

ABSTRACT

Machine Learning (ML) is being used in multiple disciplines due to its powerful capability to infer relationships within data. In particular, Software Engineering (SE) is one of those disciplines in which ML has been used for multiple tasks, like software categorization, bugs prediction, and testing. In addition to the multiple ML applications, some studies have been conducted to detect and understand possible pitfalls and issues when using ML. However, to the best of our knowledge, only a few studies have focused on presenting ML best practices or guidelines for the application of ML in different domains. In addition, the practices and literature presented in previous literature (i) are domain-specific (e.g., concrete practices in biomechanics), (ii) describe few practices, or (iii) the practices lack rigorous validation and are presented in gray literature. In this paper, we present a study listing 127 ML best practices systematically mining 242 posts of 14 different Stack Exchange (STE) websites and validated by four independent ML experts. The list of practices is presented in a set of categories related to different stages of the implementation process of an ML-enabled system; for each practice, we include explanations and examples. In all the practices, the provided examples focus on SE tasks. We expect this list of practices could help practitioners to understand better the practices and use ML in a more informed way, in particular newcomers to this new area that sits at the intersection of software engineering and machine learning.

研究の動機と目的

• 実世界のソフトウェア工学文脈において実務家が報告する機械学習ベストプラクティスを同定・体系化すること。
• ソフトウェア工学分野における包括的で検証済みかつ分野特化型のMLベストプラクティスガイドラインの不足を解消すること。
• スタックオーバーフローのコミュニティ主導の議論から導出された、構造的で証拠に基づいたMLプラクティスのハンドブックを構築すること。
• 4名の異なる背景を持つ機械学習専門家のレビューを通じて、同定されたプラクティスを検証し、信頼性と実用的関連性を確保すること。
• 具体的な文脈に基づいたガイダンスを通じて、ソフトウェア工学の実務家および研究者が一般的なMLの落とし穴を回避できるように支援すること。

提案手法

• 機械学習およびソフトウェア工学関連の14の専門コミュニティから、242件の高スコアスタックオーバーフロー投稿を体系的にマイニングした。
• オープンコーディング方式を用いた複数段階の定性的分析プロセスを適用し、手動による選定、タグ付け、分類を実施した。
• 主観性を低減するため、3名の独立したタガーラーが参加し、合意形成会議を実施した。
• データ準備、モデル選択、トレーニング、評価、デプロイメントを含む、MLパイプラインの10のカテゴリにプラクティスを分類した。
• 4名の機械学習専門家によるエキスパートレビューを通じて、127のプラクティスをすべて検証し、異議申し立てを許容し、分類の反復的精錬を実施した。
• コミュニティ知識抽出とエキスパート検証を組み合わせた混合手法を用い、信頼性と実用的関連性を確保した。

実験結果

リサーチクエスチョン

• RQ1 スタックオーバーフローのコミュニティで実務家が一般的に報告する機械学習ベストプラクティスは何か？
• RQ2 これらのプラクティスは、機械学習ライフサイクルの段階にどのように体系的に分類できるか？
• RQ3 エキスパートが検証したプラクティスは、実際のML実装に関するコミュニティディスカッションとどの程度一致するか？
• RQ4 ソフトウェア工学文脈で実務家が強調する一般的な落とし穴や課題は何か？
• RQ5 コミュニティから得たMLプラクティスは、どのようにして実務家が利用可能な信頼性の高いハンドブックに変換できるか？

主な発見

• 本研究では、10のカテゴリに体系的に整理された合計127の機械学習ベストプラクティスを同定した。これは、従来のフレームワークではカバーされていなかった「実装」段階を含む、MLライフサイクル全体をカバーするものである。
• プラクティスはスタックオーバーフローの実際の議論から抽出されており、ソフトウェア工学文脈における実務家が直面する課題と解決策を反映している。
• エキスパートによる検証により、プラクティスの信頼性が確認された。エキスパートの異議申し立てを経てわずかな再分類が必要となったが、これは強いコンSENSUSと信頼性を示している。
• 最も頻出するベストプラクティスは、データ前処理、モデル評価、ハイパーパramータチューニングに集中しており、ML開発における一般的な課題を示している。
• 本研究では、データ漏洩、過学習、一般化性能の欠如といった繰り返し発生する問題が、コミュニティが提案するプラクティスによって一貫して対処されていることが明らかになった。
• 最終的なハンドブックは、バグ予測やコード要約といったソフトウェア工学タスクに特化した具体的な例を基にしたガイダンスを提供しており、実用的応用性が向上している。