[논문 리뷰] An Empirical Study of Pre-Trained Model Reuse in the Hugging Face Deep Learning Model Registry

Wenxin Jiang, Nicholas Synovic외 6명|arXiv (Cornell University)|2023. 01. 01.

Scientific Computing and Data Management인용 수 4

한 줄 요약

이 논문은 허깅페이스 모델 레지스트리에서 사전 훈련된 모델(PTM) 재사용에 대한 최초의 실증 연구를 제시한다. 실무자 인터뷰와 63,182개의 PTM 패키지 분석을 융합하여, PTM 재사용을 위한 의사결정 워크플로우를 규명하고, 누락된 속성과 성능 격차와 같은 핵심 과제를 밝혀내며, 공급망 위험을 드러내어, 자동 감사 및 표준화를 통해 모델 레지스트리의 신뢰성과 인프라 개선에 기초적인 통찰을 제공한다.

ABSTRACT

Deep Neural Networks (DNNs) are being adopted as components in software systems. Creating and specializing DNNs from scratch has grown increasingly difficult as state-of-the-art architectures grow more complex. Following the path of traditional software engineering, machine learning engineers have begun to reuse large-scale pre-trained models (PTMs) and fine-tune these models for downstream tasks. Prior works have studied reuse practices for traditional software packages to guide software engineers towards better package maintenance and dependency management. We lack a similar foundation of knowledge to guide behaviors in pre-trained model ecosystems. In this work, we present the first empirical investigation of PTM reuse. We interviewed 12 practitioners from the most popular PTM ecosystem, Hugging Face, to learn the practices and challenges of PTM reuse. From this data, we model the decision-making process for PTM reuse. Based on the identified practices, we describe useful attributes for model reuse, including provenance, reproducibility, and portability. Three challenges for PTM reuse are missing attributes, discrepancies between claimed and actual performance, and model risks. We substantiate these identified challenges with systematic measurements in the Hugging Face ecosystem. Our work informs future directions on optimizing deep learning ecosystems by automated measuring useful attributes and potential attacks, and envision future research on infrastructure and standardization for model registries.

연구 동기 및 목표

• 허깅페이스 딥러닝 모델 레지스트리 내에서 사전 훈련된 모델(PTM) 재사용의 실제 사례 및 과제를 이해하기 위해.
• 효과적인 PTM 재사용을 가능하게 하는 핵심 속성—예: 기원, 재현 가능성, 이식성—을 규명하기 위해.
• 공급망 위험, 특히 서명 누락 및 성능 메트릭의 주장과 실제 성능 간 격차와 같은 요소를 측정하고 정량화하기 위해.
• 미래의 연구를 위해 자동 감사, 모델 레지스트리 표준화, PTM 생태계를 위한 인프라 개선에 기여하기 위해.

제안 방법

• PTM 재사용 워크플로우와 과제를 탐구하기 위해 12명의 허깅페이스 실무자와 반구조화된 인터뷰를 실시하였다.
• 허깅페이스 내 PTM 생성 및 배포의 데이터 플로우 모델을 개발하여 모델 라이프사이클을 분석하고 공격 벡터를 규명하였다.
• 허깅페이스 레지스트리에서 63,182개의 PTM 패키지 데이터셋을 수집하고 분석하여 재사용 속성과 위험 요소를 측정하였다.
• 누락된 디지털 서명, 일관성 없는 메타데이터, 성능 격차 분석을 통해 공급망 위험을 규명하였다.
• 인터뷰에서 유도된 주제와 실증 데이터를 기반으로 PTM 재사용을 위한 의사결정 워크플로우를 제안하였다.
• 미래 연구와 재현 가능성을 위해 63,182개의 PTM 패키지 히스토리가 포함된 HFTorrent 데이터셋을 공개하였다.

실험 결과

연구 질문

• RQ1 허깅페이스 생태계 내에서 사전 훈련된 모델 재사용에 있어 핵심적인 실천 방식과 의사결정 요소는 무엇인가?
• RQ2 사용 현장에서 모델 재사용을 지원하거나 저해하는 데 가장 크게 기여하는 사전 훈련된 모델의 속성은 무엇인가?
• RQ3 허깅페이스 모델 공급망 내에서 신뢰성과 재현 가능성 측면에서 존재하는 위험 요소와 취약점은 무엇인가?
• RQ4 모델 성능 메트릭의 주장이 실제 사용 환경에서의 성능과 얼마나 일치하는가?

주요 결과

• PTM 재사용을 위한 의사결정 워크플로우는 모델 기원, 성능 주장, 호환성 평가를 포함하며, 미세조정이 주요 재사용 패턴이다.
• 허깅페이스 레지스트리 내 30%의 모델이 디지털 서명을 누락하고 있어 공급망 침해 위험이 증가한다.
• 성능 격차는 표준 벤치마크에서 평가한 결과와 주장된 메트릭이 일치하지 않는 22%의 모델에서 관찰되었다.
• 많은 모델이 훈련 데이터 출처, 라이선스 명확성, 모델 카드 정보 등 필수 메타데이터를 누락하여 재현 가능성이 저하된다.
• 기존 소프트웨어 패키지에 비해 허깅페이스 생태계는 모델 속성 측면에서 더 높은 복잡성을 보이며, 모델에는 가중치, 데이터셋, 설정 등이 포함된다.
• 악성 모델 가중치와 오염된 미세조정 데이터를 포함한 소프트웨어 공급망 공격의 여러 벡터를 규명하였으며, 이는 자동 탐지 도구의 필요성을 강조한다.