[論文レビュー] A Multivocal Literature Review on the Benefits and Limitations of Automated Machine Learning Tools

Kelly Azevedo, Luigi Quaranta+2 more|arXiv (Cornell University)|Jan 21, 2024

Machine Learning and Data Classification被引用数 7

ひとこと要約

本論文は、54の学術文献と108のグレーリテラチャーを対象に、AutoMLツールの利点と限界を統合する多声的文献レビューを実施し、MLワークフローと実務者のアクセス可能性への影響を浮き彫りにする。

ABSTRACT

Context. Advancements in Machine Learning (ML) are revolutionizing every application domain, driving unprecedented transformations and fostering innovation. However, despite these advances, several organizations are experiencing friction in the adoption of ML-based technologies, mainly due to the shortage of ML professionals. In this context, Automated Machine Learning (AutoML) techniques have been presented as a promising solution to democratize ML adoption. Objective. We aim to provide an overview of the evidence on the benefits and limitations of using AutoML tools. Method. We conducted a multivocal literature review, which allowed us to identify 54 sources from the academic literature and 108 sources from the grey literature reporting on AutoML benefits and limitations. We extracted reported benefits and limitations from the papers and applied thematic analysis. Results. We identified 18 benefits and 25 limitations. Concerning the benefits, we highlight that AutoML tools can help streamline the core steps of ML workflows, namely data preparation, feature engineering, model construction, and hyperparameter tuning, with concrete benefits on model performance, efficiency, and scalability. In addition, AutoML empowers both novice and experienced data scientists, promoting ML accessibility. On the other hand, we highlight several limitations that may represent obstacles to the widespread adoption of AutoML. For instance, AutoML tools may introduce barriers to transparency and interoperability, exhibit limited flexibility for complex scenarios, and offer inconsistent coverage of the ML workflow. Conclusions. The effectiveness of AutoML in facilitating the adoption of machine learning by users may vary depending on the tool and the context in which it is used. As of today, AutoML tools are used to increase human expertise rather than replace it, and, as such, they require skilled users.

研究の動機と目的

• 文献全体を通じてAutoMLツールの報告された利点を特定し、分類する。
• AutoML導入の制限と障壁を特定し、分類する。
• AutoMLがデータ前処理、特徴量エンジニアリング、モデル構築、ハイパーパラメータ調整にどのように影響するかを評価する。
• AutoMLの恩恵を受ける人や、どの文脈で支援するか/不足するかを評価する。

提案手法

• 学術文献とグレーリテラチャーの両方の視点を捉えるマルチボイス文献レビューを実施する。
• 利点と制限を抽出するためにテーマ分析を適用する。
• 裏付けとなる出典を添えて、利点と制限を構造化されたリストに集約する。

実験結果

リサーチクエスチョン

• RQ1 AutoMLツールはMLワークフロー（データ前処理、特徴量エンジニアリング、モデル構築、ハイパーパラメータ調整）にどのような利点を提供しますか？
• RQ2 AutoMLツールの広範な普及を妨げる制限は何であり、どの文脈でこれらのツールは期待に応えられなかったり機能不足になりますか？
• RQ3 AutoMLの恩恵を受けるのは誰で、ツールの特徴が初心者と経験豊富なデータサイエンティストのアクセス可能性にどのように影響しますか？
• RQ4 AutoMLツールはMLプロジェクト内の透明性と相互運用性にどのような影響を与えますか？

主な発見

• AutoMLツールはコアMLワークフローのステップを合理化し、モデルの性能、効率、拡張性を向上させることができる。
• AutoMLは初心者と経験豊富なデータサイエンティストの両方を支援し、MLへのアクセス可能性を促進する。
• 制限には透明性と相互運用性への障壁、複雑な状況への柔軟性の制限、MLワークフローのカバレッジが一貫していない点が含まれる。
• AutoMLの有効性はツールと文脈によって異なり、現時点では人間の専門知識を補完することはあっても置換するものではない。