[論文レビュー] The Responsible Foundation Model Development Cheatsheet: A Review of Tools & Resources

Shayne Longpre, Stella Biderman+21 more|arXiv (Cornell University)|Jun 24, 2024

Geotechnical Engineering and Soil Stabilization被引用数 4

ひとこと要約

本論文は、データ調達、モデル訓練、評価、デプロイメントをカバーする250以上のツールとリソースの包括的コレクションである「責任ある基盤モデル開発チートシート」を紹介する。倫理的配慮、多言語対応、マルチモーダル対応の分野における深刻なギャップを特定し、テキスト、ビジョン、スピーチのモダリティにわたり、責任ある基盤モデル開発を支援するため、透明性、再現可能性、システムレベルの評価を重視する。

ABSTRACT

Foundation model development attracts a rapidly expanding body of contributors, scientists, and applications. To help shape responsible development practices, we introduce the Foundation Model Development Cheatsheet: a growing collection of 250+ tools and resources spanning text, vision, and speech modalities. We draw on a large body of prior work to survey resources (e.g. software, documentation, frameworks, guides, and practical tools) that support informed data selection, processing, and understanding, precise and limitation-aware artifact documentation, efficient model training, advance awareness of the environmental impact from training, careful model evaluation of capabilities, risks, and claims, as well as responsible model release, licensing and deployment practices. We hope this curated collection of resources helps guide more responsible development. The process of curating this list, enabled us to review the AI development ecosystem, revealing what tools are critically missing, misused, or over-used in existing practices. We find that (i) tools for data sourcing, model evaluation, and monitoring are critically under-serving ethical and real-world needs, (ii) evaluations for model safety, capabilities, and environmental impact all lack reproducibility and transparency, (iii) text and particularly English-centric analyses continue to dominate over multilingual and multi-modal analyses, and (iv) evaluation of systems, rather than just models, is needed so that capabilities and impact are assessed in context.

研究の動機と目的

• AIアプリケーションと開発者の急速な拡大に伴い、責任ある基盤モデル開発のニーズを満たす必要性に対応する。
• データ調達からデプロイメントまでの全ライフサイクルにわたり、ツールとリソースを体系的に調査・整理する。
• 倫理的データ取り扱い、多言語およびマルチモーダル対応、再現可能な評価における現在の実務における深刻なギャップを浮き彫りにする。
• ドキュメント化されたツールとガイドラインを通じて、透明性、環境配慮、責任あるリリース実践を促進する。
• 評価を単なるモデルのテストから、現実世界の文脈、ガードレール、ユーザーインタラクションを統合した包括的システム評価へとシフトさせる。

提案手法

• データソース、準備、訓練、評価、環境的影響、モデルリリースを含む10段階の開発フェーズにわたり、250以上のツールとリソースを包括的に収集した。
• モデル開発ライフサイクルに整合した構造的フレームワークにツールを整理し、データ、モデル、デプロイメント段階に専用のセクションを設けた。
• 倫理的データ監査、多言語データ対応、システムレベルの評価など、未開発領域を特定するため、既存ツールの批判的レビューを実施した。
• 早期かつ継続的なドキュメンテーション、オープンソースの評価スクリプト、環境的影響の追跡を推奨することで、ドキュメンテーション、再現可能性、透明性を強調した。
• デプロイメント文脈、入出力フィルタ、ユーザーインターフェースの考慮事項を評価ワークフローに統合することで、システムレベルの評価を推進した。
• 学術界、産業界、オープンソースコミュニティから25以上の研究者・機関の貢献を活用し、広範なカバーと信頼性を確保した。

実験結果

リサーチクエスチョン

• RQ1 データ、訓練、評価、デプロイメントの各段階において、責任ある基盤モデル開発を支援する現在利用可能なツールとリソースは何か？
• RQ2 倫理的データ調達、多言語およびマルチモーダルデータ、システムレベルの評価におけるツールのギャップはどこにあるか？
• RQ3 基盤モデル開発における透明性、再現可能性、環境的影響の支援をどう改善できるか？
• RQ4 なぜ現在のモデルの安全性、能力、環境的影響の評価はしばしば再現不能かつ非透明なのか？
• RQ5 評価を孤立したモデルテストから、現実世界の文脈における包括的システム評価へと変えるには、どのような変化が必要か？

主な発見

• 倫理的ニーズや現実世界のニーズに対し、特に多言語およびマルチモーダル文脈において、データ調達、モデル評価、監視のためのツールが著しく不足している。
• モデルの安全性、能力、環境的影響に関する評価は再現性と透明性に欠け、多くのクローズドソース評価がそのスクリプトを公開していない。
• テキストおよび英語中心の分析が支配的であり、多言語およびマルチモーダルデータや評価ツールの代表が著しく不足している。
• デプロイメント文脈、ガードレール、ユーザーインタラクションを評価パイプラインに統合することで、単なるモデルではなく包括的システムの評価が急務である。
• 環境的影響の推定とリソースの効率的使用は依然として支援が不十分であり、細粒度のデータセンターおよび消費者レベルのダッシュボードへのアクセスが限られている。
• 現在のエコシステムは、医療や法務などの垂直分野向けに特化した自然的評価よりも、汎用ツールを優遇している。