[論文レビュー] The Model Openness Framework: Promoting Completeness and Openness for Reproducibility, Transparency, and Usability in Artificial Intelligence

Matt White, Ibrahim Haddad+5 more|arXiv (Cornell University)|Mar 20, 2024

Semantic Web and Ontologies被引用数 13

ひとこと要約

本論文はModel Openness Framework (MOF)を提案します。MOFは3層分類システムとModel Openness Tool (MOT)を組み合わせ、AIモデルのオープン性・完全性・再利用性をコード・データ・ドキュメント全体で評価・向上させます。

ABSTRACT

Generative artificial intelligence (AI) offers numerous opportunities for research and innovation, but its commercialization has raised concerns about the transparency and safety of frontier AI models. Most models lack the necessary components for full understanding, auditing, and reproducibility, and some model producers use restrictive licenses whilst claiming that their models are "open source". To address these concerns, we introduce the Model Openness Framework (MOF), a three-tiered ranked classification system that rates machine learning models based on their completeness and openness, following open science principles. For each MOF class, we specify code, data, and documentation components of the model development lifecycle that must be released and under which open licenses. In addition, the Model Openness Tool (MOT) provides a user-friendly reference implementation to evaluate the openness and completeness of models against the MOF classification system. Together, the MOF and MOT provide timely practical guidance for (i) model producers to enhance the openness and completeness of their publicly-released models, and (ii) model consumers to identify open models and their constituent components that can be permissively used, studied, modified, and redistributed. Through the MOF, we seek to establish completeness and openness as core tenets of responsible AI research and development, and to promote best practices in the burgeoning open AI ecosystem.

研究の動機と目的

• 商用化の懸念が高まる中で、最先端AIモデルの透明性と再現性をより高める必要性を喚起する。
• 完全性とオープン性に基づきモデルを評価する3層MOF分類を提案する。
• MOF各クラスに対する必須の公開コンポーネント（コード・データ・ドキュメント）とライセンスを定義する。
• MOF分類に対してオープン性を評価する参照実装（MOT）を提供する。
• オープン性と再利用性に関するモデルのプロデューサーとコンシューマーへの実践的なガイダンスを提供する。

提案手法

• オープンサイエンスの原則に従い、完全性とオープン性でモデルを評価する3層MOF分類を定義する。
• 各MOFクラスごとに、必須のコード・データ・ドキュメントのコンポーネントと許可されたライセンスを明示する。
• MOF基準に対してモデルのオープン性を評価するための、使いやすい参照実装としてModel Openness Tool (MOT)を開発する。

実験結果

リサーチクエスチョン

• RQ1 AIモデル全体で、モデルのオープン性と完全性を体系的に分類するにはどうすればよいか？
• RQ2 各MOFクラスに必要なコード・データ・ドキュメントのコンポーネントは何で、どのライセンスの下で公開すべきか？

主な発見

• MOFは、モデルのオープン性と完全性を評価する実用的な3層分類を提供します。
• MOTはMOF基準に対してモデルを評価する使いやすい実装を提供します。
• このフレームワークは、オープン性の向上を目指すモデルのプロデューサーと、利用可能なオープンモデルを特定するコンシューマーの双方を対象にします。
• MOFは、コード・データ・ドキュメントといったコンポーネントをオープンライセンスの下で公開することを強調します。