[論文レビュー] An Empirical Study of Pre-Trained Model Reuse in the Hugging Face Deep Learning Model Registry

Wenxin Jiang, Nicholas Synovic+6 more|arXiv (Cornell University)|Jan 1, 2023

Scientific Computing and Data Management被引用数 4

ひとこと要約

本論文は、Hugging Faceモデルレジストリにおける事前学習モデル（PTM）再利用に関する最初の実証的調査を提示する。12名の実務者へのインタビューと63,182個のPTMパッケージの分析を組み合わせたもので、PTM再利用の意思決定ワークフローを同定し、欠落した属性やパフォーマンスの乖離といった主な課題を明らかにするとともに、サプライチェーン上のリスクを特定。自動化された監査と標準化を通じて、モデルレジストリの信頼性とインフラの向上に向けた基盤的知見を提供する。

ABSTRACT

Deep Neural Networks (DNNs) are being adopted as components in software systems. Creating and specializing DNNs from scratch has grown increasingly difficult as state-of-the-art architectures grow more complex. Following the path of traditional software engineering, machine learning engineers have begun to reuse large-scale pre-trained models (PTMs) and fine-tune these models for downstream tasks. Prior works have studied reuse practices for traditional software packages to guide software engineers towards better package maintenance and dependency management. We lack a similar foundation of knowledge to guide behaviors in pre-trained model ecosystems. In this work, we present the first empirical investigation of PTM reuse. We interviewed 12 practitioners from the most popular PTM ecosystem, Hugging Face, to learn the practices and challenges of PTM reuse. From this data, we model the decision-making process for PTM reuse. Based on the identified practices, we describe useful attributes for model reuse, including provenance, reproducibility, and portability. Three challenges for PTM reuse are missing attributes, discrepancies between claimed and actual performance, and model risks. We substantiate these identified challenges with systematic measurements in the Hugging Face ecosystem. Our work informs future directions on optimizing deep learning ecosystems by automated measuring useful attributes and potential attacks, and envision future research on infrastructure and standardization for model registries.

研究の動機と目的

• Hugging Faceのディープラーニングモデルレジストリにおける事前学習モデル（PTM）再利用の実世界の実践と課題を理解すること。
• 実効的なPTM再利用を可能にする、出典（provenance）、再現可能性（reproducibility）、移行性（portability）といった重要な属性を同定すること。
• デジタル署名の欠落や、主張された性能と実際のモデル性能の乖離を含む、PTMサプライチェーンにおけるリスクを測定・定量すること。
• PTMエコシステムのための将来的な研究を支援するため、自動監査、モデルレジストリの標準化、インフラ改善の方向けに知見を提供すること。

提案手法

• PTM再利用のワークフローと課題を調査するため、12名のHugging Face実務者に対して準構造的インタビューを実施。
• Hugging FaceにおけるPTMの作成と配布のデータフローをモデル化し、モデルライフサイクルの分析と攻撃ベクトルの同定を実施。
• Hugging Faceレジストリから抽出した63,182個のPTMパッケージのデータセットを収集・分析し、再利用に必要な属性とリスクを測定。
• 欠落したデジタル署名、一貫性のないメタデータ、パフォーマンスの乖離の分析を通じて、サプライチェーン上のリスクを同定。
• インタビューから得られたテーマと実証データに基づき、PTM再利用の意思決定ワークフローを提案。
• 今後の研究と再現性のためのHFTorrentデータセット（63,182個のPTMパッケージ履歴）を公開。

実験結果

リサーチクエスチョン

• RQ1 Hugging Faceエコシステム内における事前学習モデル再利用の主な実践と意思決定要因は何か？
• RQ2 実際の再利用において、事前学習モデルのどの属性が再利用を促進または阻害するかが顕著に影響を与えるか？
• RQ3 Hugging Faceモデルサプライチェーンには、信頼性と再現可能性の観点から、どのようなリスクや脆弱性が存在するか？
• RQ4 主張されたモデルパフォーマンス指標が、実世界での使用における実際のパフォーマンスとどの程度一致しているか？

主な発見

• PTM再利用の意思決定ワークフローは、モデルの出典、パフォーマンスの主張、互換性の評価を含み、ファインチューニングが支配的な再利用パターンである。
• Hugging Faceレジストリの30％のモデルがデジタル署名を欠いており、サプライチェーンの改ざんリスクが高まっている。
• 22％のモデルで、報告された指標と標準ベンチマーク上での評価結果に乖離が認められ、パフォーマンスの不一致が確認された。
• 多くのモデルがトレーニングデータの出典、ライセンスの明確さ、モデルカードの詳細といった必須メタデータを欠いており、再現性が損なわれている。
• 従来のソフトウェアパッケージと比較して、Hugging Faceエコシステムはモデル属性の複雑さが著しく高く、重み、データセット、設定が含まれる。
• 悪意あるモデル重みや汚染されたファインチューニングデータを含む、ソフトウェアサプライチェーン攻撃の複数の攻撃ベクトルが同定された。これにより、自動検出ツールの必要性が強調された。