[논문 리뷰] Analyzing the Evolution and Maintenance of ML Models on Hugging Face

Joel Castaño, Silverio Martínez‐Fernández외 2명|arXiv (Cornell University)|2023. 11. 22.

Robotics and Automated Systems인용 수 4

한 줄 요약

이 연구는 Hugging Face에서 초과 38만 개의 머신러닝 모델의 진화와 유지보수를 레포지토리 마이닝과 커밋 분석을 통해 분석한다. 커밋 유형(정정, 완성, 적응)을 기반으로 한 새로운 유지보수 상태 분류 체계를 제안하며, 이는 완성형 유지보수의 지배적 우세성을 드러내고, 모델 진화가 커뮤니티 트렌드, 프레임워크 도입, 협업 개발 패턴에 의해 이뤄진다는 것을 입증한다.

ABSTRACT

Hugging Face (HF) has established itself as a crucial platform for the development and sharing of machine learning (ML) models. This repository mining study, which delves into more than 380,000 models using data gathered via the HF Hub API, aims to explore the community engagement, evolution, and maintenance around models hosted on HF, aspects that have yet to be comprehensively explored in the literature. We first examine the overall growth and popularity of HF, uncovering trends in ML domains, framework usage, authors grouping and the evolution of tags and datasets used. Through text analysis of model card descriptions, we also seek to identify prevalent themes and insights within the developer community. Our investigation further extends to the maintenance aspects of models, where we evaluate the maintenance status of ML models, classify commit messages into various categories (corrective, perfective, and adaptive), analyze the evolution across development stages of commits metrics and introduce a new classification system that estimates the maintenance status of models based on multiple attributes. This study aims to provide valuable insights about ML model maintenance and evolution that could inform future model development strategies on platforms like HF.

연구 동기 및 목표

• 머신러닝 모델의 성장, 진화, 유지보수 역학을 Hugging Face, 즉 머신러닝 모델 공유의 중심 플랫폼에서 이해하기 위해.
• 이 플랫폼에서 커뮤니티 참여, 프레임워크 사용, 태그 관행, 데이터셋 채택이 시간에 따라 어떻게 변화해왔는지 조사하기 위해.
• 모델 카드 텍스트를 분석하여 개발자 우선순위와 모델 문서화 관행에 대한 반복적인 주제와 통찰을 도출하기 위해.
• 신경망 기반 접근 방식을 사용하여 커밋 메시지를 정정, 완성, 적응형 유지보수 유형으로 분류하기 위해.
• 버전 관리 및 메타데이터 패턴을 기반으로 한 다중 속성 기반의 유지보수 상태 추정을 위한 새로운 분류 체계를 개발하고 검증하기 위해.

제안 방법

• 일致성과 완전성을 확보하기 위해 Hugging Face Hub API와 HFCommunity 데이터셋에서 데이터를 수집하였다.
• 주요 주제와 커뮤니티 트렌드를 식별하기 위해 자연어 처리 기법을 사용하여 모델 카드 기술서의 텍스트 분석을 수행하였다.
• 89%의 테스트 정확도를 보이는 사전 훈련된 신경망 모델을 사용하여 커밋 메시지를 유지보수 유형(정정, 완성, 적응)으로 분류하였다.
• 125개의 커밋 메시지에 대한 수동 점검을 통해 분류 결과를 검증하였으며, 이로써 86%의 정확도를 달성하였다.
• 커밋 빈도, 파일 편집 패턴, 메타데이터 속성 기반의 다중 속성 기반 모델 유지보수 분류 프레임워크를 개발하였다.
• 통계적 및 시간적 분석을 적용하여 개발 단계에 따라 커밋 진화를 추적하고, 유지보수 패턴을 모델 특성과 연관지어 분석하였다.

실험 결과

연구 질문

• RQ1 Hugging Face 커뮤니티는 시간이 지남에 따라 모델 수량, 도메인 집중도, 프레임워크 사용, 태그 트렌드 측면에서 어떻게 진화해왔는가?
• RQ2 모델 카드 기술서에서 두드러지는 주제들과 통찰은 무엇이며, 이는 커뮤니티 우선순위와 문서화 관행을 어떻게 반영하는가?
• RQ3 Hugging Face에 호스팅된 머신러닝 모델에서 가장 흔한 유지보수 활동 유형(정정, 완성, 적응)은 무엇인가?
• RQ4 모델 개발의 다양한 단계에서 커밋 패턴과 파일 편집 행동은 어떻게 변화하는가?
• RQ5 버전 관리 및 메타데이터 기반의 다중 속성 기반 분류 체계가 모델 유지보수 상태를 효과적으로 추정할 수 있는가?

주요 결과

• Hugging Face 커뮤니티는 급격한 성장을 경험하였으며, 특히 생성형 AI 및 NLP 분야에서 신규 프레임워크와 태그의 도입이 증가하고 있다.
• 모델 카드 텍스트 분석을 통해 모델 성능, 파인튜닝 절차, 윤리적 고려사항 등의 반복적인 주제가 드러나, 투명성과 재현 가능성에 대한 집중을 시사한다.
• 완성형 커밋(최적화 및 개선)이 가장 빈번한 유형이었으며, 이는 모델 효율성과 성능 향상에 대한 강한 중시를 시사한다.
• 정정형 커밋(버그 수정)은 덜 흔했으며, 많은 모델에서 핵심 기능이 비교적 안정되어 있음을 시사하지만, 레포지토리 간에 변동성이 존재한다.
• 커밋의 수명 주기에서는 활발한 개발 단계 이후 핵심 구성 요소의 안정화 및 최적화 단계가 이어지며, 특히 활동이 빈번한 모델에서 두드러진다.
• 제안된 유지보수 분류 프레임워크는 높은 신뢰성을 보이며, 사용자가 예측 가능하고 신뢰할 수 있는 유지보수 패턴을 가진 모델을 선택하는 데 유용하게 활용될 수 있다.