[論文レビュー] Code Smells in Machine Learning Systems

Jiri Gesi, Siqi Liu+7 more|arXiv (Cornell University)|Mar 2, 2022

Software Engineering Research被引用数 12

ひとこと要約

本研究では、59のオープンソースDLプロジェクトにおける426件の保守変更を分析することで、ディープラーニング（DL）システムに特有の5つの新しいコードスモールを同定・検証した。混合定性的・定量的アプローチを用い、Jumbled Model Architecture や Data-Driven Configuration といったDL特有のコードスモールが広範に存在し、保守性に顕著な影響を与えることが示された。開発者たちは、それらを頻度が高いとは限らないが、高影響度の問題として認識していた。

ABSTRACT

As Deep learning (DL) systems continuously evolve and grow, assuring their quality becomes an important yet challenging task. Compared to non-DL systems, DL systems have more complex team compositions and heavier data dependency. These inherent characteristics would potentially cause DL systems to be more vulnerable to bugs and, in the long run, to maintenance issues. Code smells are empirically tested as efficient indicators of non-DL systems. Therefore, we took a step forward into identifying code smells, and understanding their impact on maintenance in this comprehensive study. This is the first study on investigating code smells in the context of DL software systems, which helps researchers and practitioners to get a first look at what kind of maintenance modification made and what code smells developers have been dealing with. Our paper has three major contributions. First, we comprehensively investigated the maintenance modifications that have been made by DL developers via studying the evolution of DL systems, and we identified nine frequently occurred maintenance-related modification categories in DL systems. Second, we summarized five code smells in DL systems. Third, we validated the prevalence, and the impact of our newly identified code smells through a mixture of qualitative and quantitative analysis. We found that our newly identified code smells are prevalent and impactful on the maintenance of DL systems from the developer's perspective.

研究の動機と目的

• ディープラーニングシステムにおける保守関連のコード変更の性質と頻度を理解すること。
• 一般用途ソフトウェアとは異なる、ディープラーニングシステムに特有のコードスモールを同定・特徴づけること。
• DL実務家を対象とした実証的分析を通じて、これらのコードスモールの広範性と認識された影響を検証すること。
• DL分野におけるコード品質の向上、ツール統合、ソフトウェア工学教育に向けた実用的知見を提供すること。

提案手法

• PythonChangeMiner および GitcProc を用いて、59のオープンソースDLプロジェクトから426件の保守関連コード変更を収集。パターン抽出およびバグ修正のフィルタリングに使用。
• 一部の変更について手動分析を実施し、繰り返し発生する変更パターンを同定。それらを9つの保守関連カテゴリに分類。
• 複数名の研究者が定性的コーディングを実施し、変更を独立してラベル付け・分類。評価者間一致性は有意水準（kappa = 0.61–0.83）を達成。
• 同定されたパターンを、Jumbled Model Architecture や Data-Driven Configuration を含む、DLシステムに特有の5つの新しいコードスモールにマッピング。
• 112名のDL実務家を対象としたアンケートを通じて、これらのコードスモールの影響を検証。言語バイアスを低減するための翻訳版を提供。
• コード変更頻度の定量的分析と定性的な開発者フィードバックを統合し、コードスモールの広範性と認識された深刻度の両方を評価。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングシステムで最も頻繁に行われる保守的変更の種類は何か？
• RQ2 ディープラーニングシステムに特有のコードスモールの特徴は何か。また、一般用途ソフトウェアのコードスモールとはどのように異なるか？
• RQ3 実務家視点において、新たに同定されたDL特有のコードスモールはどれほど広範に存在し、どれほど影響が大きいと考えられているか？
• RQ4 実際のDL開発現場において、最も頻度が高いコードスモールが、最も影響が大きいものと一致する程度はどの程度か？

主な発見

• DLシステムでは、モデルアーキテクチャの再設計、データパイプラインの変更、構成管理を含む9つの明確な保守変更カテゴリが同定された。
• DLシステムに特有の5つの新しいコードスモールが同定された：Jumbled Model Architecture、Data-Driven Configuration、Hardcoded Hyperparameters、Model-Data Coupling、Inconsistent Model Versioning。
• 最も頻度が高いコードスモールが、必ずしも最も影響が大きいとは限らない。開発者たちは、Jumbled Model Architecture と Data-Driven Configuration が保守性に最も深刻な悪影響を与えていると認識していた。
• 112名のDL実務家を対象としたアンケートにより、これらのコードスモールが広く認識されており、コードの理解性と長期的保守性に顕著な悪影響を与えていることが確認された。
• 本研究では、59のオープンソースプロジェクトにおいてコードスモールが広く存在していることが判明し、開発ワークフローにおいて注意を要するシステム的問題であることが示された。
• 結果から、DL開発パイプラインにコードスモール検出機能を統合することで保守性が向上する可能性があることが示唆された。特に、干渉が少なく、文脈に即したツールであれば、その効果は顕著であると考えられる。