[論文レビュー] Synergy between Machine/Deep Learning and Software Engineering: How Far Are We?

Simin Wang, LiGuo Huang+6 more|arXiv (Cornell University)|Aug 12, 2020

Software Engineering Research参考文献 155被引用数 15

ひとこと要約

本論文は、2009年から2018年までのML/DL関連SE研究906件を対象とした10年間の体系的文献レビューを提示しており、相乗効果、再現可能性の課題、再現性に影響を与える要因を特定している。また、ML/DL研究を産業応用に移行させるための三段階のロードマップを提唱し、ソフトウェア工学ワークフローへのディープラーニング統合における5つの独自の課題を明らかにしている。

ABSTRACT

Since 2009, the deep learning revolution, which was triggered by the introduction of ImageNet, has stimulated the synergy between Machine Learning (ML)/Deep Learning (DL) and Software Engineering (SE). Meanwhile, critical reviews have emerged that suggest that ML/DL should be used cautiously. To improve the quality (especially the applicability and generalizability) of ML/DL-related SE studies, and to stimulate and enhance future collaborations between SE/AI researchers and industry practitioners, we conducted a 10-year Systematic Literature Review (SLR) on 906 ML/DL-related SE papers published between 2009 and 2018. Our trend analysis demonstrated the mutual impacts that ML/DL and SE have had on each other. At the same time, however, we also observed a paucity of replicable and reproducible ML/DL-related SE studies and identified five factors that influence their replicability and reproducibility. To improve the applicability and generalizability of research results, we analyzed what ingredients in a study would facilitate an understanding of why a ML/DL technique was selected for a specific SE problem. In addition, we identified the unique trends of impacts of DL models on SE tasks, as well as five unique challenges that needed to be met in order to better leverage DL to improve the productivity of SE tasks. Finally, we outlined a road-map that we believe can facilitate the transfer of ML/DL-based SE research results into real-world industry practices.

研究の動機と目的

• 10年間（2009年～2018年）にわたり、ML/DLとソフトウェア工学の相互的影響を評価すること。
• ML/DL関連SE研究の再現性と再現可能性を損なう要因を特定すること。
• SE研究におけるML/DL手法選定の根拠を分析し、方法論の透明性を向上させること。
• ディープラーニングがSEタスクに及ぼす独自の影響と課題を調査すること。
• ML/DLベースのSE研究を実世界の産業的応用に効果的に移行させるための三段階のロードマップを提言すること。

提案手法

• 2009年から2018年までに発表された906件のML/DL関連SE論文を対象とした体系的文献レビュー（SLR）を実施した。
• 7つのSE活動におけるML/DLとSEの相互的影響を評価するためのトレンド分析を実施した。
• 研究設計および報告実務に関する定性的分析を通じて、再現性に影響を与える5つの要因を同定した。
• 79件のディープラーニング研究を分析し、SEタスクへのDL統合における独自のトレンドと課題を解明した。
• 学術的研究から産業的SE実務への技術移転を支援する三段階のロードマップを提言した。
• 研究で報告された選定基準を抽出・分析することで、ML/DL手法選定の根拠を評価した。

実験結果

リサーチクエスチョン

• RQ1 過去10年間において、ML/DLとSEとの間で顕著なトレンドと相互的影響は何か？
• RQ2 ML/DL関連SE研究の再現性と再現性を阻害する要因は何か？
• RQ3 なぜ多くのSE研究におけるML/DL手法選定が、パフォーマンス指標を超えて十分に正当化されていないのか？
• RQ4 ディープラーニングモデルをSEタスクに統合する際、どのような独自の課題が生じるか？
• RQ5 ML/DLベースのSE研究をどのようにして産業的ソフトウェア開発プロセスに効果的に移行できるか？

主な発見

• 2009年から2018年の間に、7つのSE活動にまたがる60種類の異なるSEタスクにおいて、ML/DL応用に関する研究関心が急激に増加した。
• 再現可能で再現性のある研究が著しく不足しており、再現性に影響を与える5つの要因（データの可用性、モデルの透明性、ハイパーパrameterの報告、評価指標、コード共有）が特定された。
• 多くの研究で、パフォーマンス以外の根拠が欠落しており、問題の特徴、データタイプ、タスク制約を含む詳細な根拠が欠けている。
• 手法選定の理解を高めるために、3つの重要な要素（問題文脈、データモダリティ、モデルの解釈可能性）が重要であると判明した。
• ディープラーニングモデルは、コード生成、欠陥予測、API推薦の分野において、SEタスクに独自の影響を及ぼしたが、5つの特異な課題を引き起こした：データ依存性、モデルの解釈可能性、プロジェクト間での一般化、既存のSEツールとの統合、評価の一貫性。
• SEのテストとデバッグをML/DLシステムに適用した研究はわずか15件にとどまり、AIシステムへのSE実務の適用は初期段階にあると示唆された。