[論文レビュー] Analyzing the Evolution and Maintenance of ML Models on Hugging Face

Joel Castaño, Silverio Martínez‐Fernández+2 more|arXiv (Cornell University)|Nov 22, 2023

Robotics and Automated Systems被引用数 4

ひとこと要約

本研究では、リポジトリマイニングとコミット分析を用いて、Hugging Face上での38万件以上の機械学習モデルの進化と維持保守の履歴を分析した。コミットの種別（是正、最適化、適応）に基づく、新たなモデルの保守状態分類システムを提案し、最適化保守が支配的であることが判明。また、モデルの進化がコミュニティのトレンド、フレームワークの採用、共同開発のパターンによって駆動されていることを示した。

ABSTRACT

Hugging Face (HF) has established itself as a crucial platform for the development and sharing of machine learning (ML) models. This repository mining study, which delves into more than 380,000 models using data gathered via the HF Hub API, aims to explore the community engagement, evolution, and maintenance around models hosted on HF, aspects that have yet to be comprehensively explored in the literature. We first examine the overall growth and popularity of HF, uncovering trends in ML domains, framework usage, authors grouping and the evolution of tags and datasets used. Through text analysis of model card descriptions, we also seek to identify prevalent themes and insights within the developer community. Our investigation further extends to the maintenance aspects of models, where we evaluate the maintenance status of ML models, classify commit messages into various categories (corrective, perfective, and adaptive), analyze the evolution across development stages of commits metrics and introduce a new classification system that estimates the maintenance status of models based on multiple attributes. This study aims to provide valuable insights about ML model maintenance and evolution that could inform future model development strategies on platforms like HF.

研究の動機と目的

• Hugging Face、MLモデル共有の中心的プラットフォームとしての、モデルの成長、進化、保守のダイナミクスを理解すること。
• 本プラットフォーム上でのコミュニティ参加、フレームワーク使用、タグ付けの実態、データセットの採用が、時間経過とともにどのように変化したかを調査すること。
• モデルカードのテキストを分析し、開発者の優先事項やモデルドキュメンテーションの実態に関する共通するテーマや洞察を抽出すること。
• ニューラルネットワークを用いたアプローチにより、コミットメッセージを是正、最適化、適応保守の3つのタイプに分類すること。
• バージョン管理およびメタデータのパターンに基づき、保守状態を推定するための新たな多属性分類システムを構築・検証すること。

提案手法

• 一貫性と完全性を確保するため、Hugging Face Hub APIおよびHFCommunityデータセットからデータを収集した。
• 自然言語処理（NLP）技術を用いて、モデルカードの記述文のテキスト分析を実施し、一般的なテーマやコミュニティトレンドを同定した。
• 事前学習済みのニューラルネットワークモデル（テスト精度89%）を用いて、コミットメッセージを是正、最適化、適応保守の3つの保守カテゴリに分類した。
• 125件のコミットメッセージを手動で検証することで分類結果の妥当性を検証し、86%の精度を達成した。
• コミット頻度、ファイル編集パターン、メタデータ属性に基づく、多属性のモデル保守状態分類フレームワークを構築した。
• 統計的および時系列的分析を用いて、開発段階ごとのコミット進化を追跡し、保守パターンとモデル特性の相関関係を分析した。

実験結果

リサーチクエスチョン

• RQ1 Hugging Faceコミュニティは、時間経過とともに、モデルの数、分野的焦点、フレームワーク使用、タグ付けトレンドのどの点で進化したか？
• RQ2 モデルカードの記述に顕在する主なテーマや洞察は何か。これらはコミュニティの優先事項やドキュメンテーション実態をどのように反映しているか？
• RQ3 Hugging FaceにホスティングされたMLモデルにおいて、是正、最適化、適応保守のどの種類の保守活動が最も一般的か？
• RQ4 モデル開発の異なる段階において、コミットパターンやファイル編集行動はどのように変化するか？
• RQ5 バージョン管理およびメタデータに基づき、多属性分類システムがMLモデルの保守状態を効果的に推定できるか？

主な発見

• Hugging Faceコミュニティは著しい成長を遂げており、特に生成AIおよびNLP分野において、新規フレームワークやタグの採用が顕著に増加した。
• モデルカードのテキスト分析から、モデルの性能、ファインチューニング手順、倫理的配慮といった共通するテーマが抽出され、透明性と再現可能性への注力がうかがえた。
• 最適化コミット（最適化や精緻化）が最も頻度が高く、モデルの効率性や性能向上への強い関心が示された。
• 是正コミット（バグ修正）は比較的少ないが、多くのモデルでコア機能が安定していることが示されたが、リポジトリ間でのばらつきも確認された。
• コミットのライフサイクルは、初期の活発な開発段階に続き、特に活発なモデルではコアコンponentの安定化と最適化が続く。
• 提案された保守状態分類フレームワークは高い信頼性を示し、ユーザーが予測可能で信頼性の高い保守パターンを持つモデルを選定するのを支援できる。