[논문 리뷰] The Model Openness Framework: Promoting Completeness and Openness for Reproducibility, Transparency, and Usability in Artificial Intelligence

Matt White, Ibrahim Haddad외 5명|arXiv (Cornell University)|2024. 03. 20.

Semantic Web and Ontologies인용 수 13

한 줄 요약

논문은 Model Openness Framework (MOF)와 Model Openness Tool (MOT)을 도입하여 코드, 데이터, 문서 전반에 걸친 AI 모델의 개방성, 완전성, 재사용성을 평가하고 향상시키는 방법을 제시한다.

ABSTRACT

Generative artificial intelligence (AI) offers numerous opportunities for research and innovation, but its commercialization has raised concerns about the transparency and safety of frontier AI models. Most models lack the necessary components for full understanding, auditing, and reproducibility, and some model producers use restrictive licenses whilst claiming that their models are "open source". To address these concerns, we introduce the Model Openness Framework (MOF), a three-tiered ranked classification system that rates machine learning models based on their completeness and openness, following open science principles. For each MOF class, we specify code, data, and documentation components of the model development lifecycle that must be released and under which open licenses. In addition, the Model Openness Tool (MOT) provides a user-friendly reference implementation to evaluate the openness and completeness of models against the MOF classification system. Together, the MOF and MOT provide timely practical guidance for (i) model producers to enhance the openness and completeness of their publicly-released models, and (ii) model consumers to identify open models and their constituent components that can be permissively used, studied, modified, and redistributed. Through the MOF, we seek to establish completeness and openness as core tenets of responsible AI research and development, and to promote best practices in the burgeoning open AI ecosystem.

연구 동기 및 목표

• 상용화 우려 속에서 최전선 AI 모델의 더 큰 투명성과 재현성이 필요하다고 동기를 부여한다.
• 완전성과 개방성에 따라 모델을 평가하기 위한 세 계층 MOF 분류를 제안한다.
• 각 MOF 등급에 필요한 공개 구성 요소(코드, 데이터, 문서)와 라이선스를 정의한다.
• MOF 분류에 따라 개방성을 평가하기 위한 참조 구현(MOT)을 제공한다.
• 개방성과 재사용에 대한 모델 생산자와 소비자에게 실용적인 지침을 제공한다.

제안 방법

• 개방 과학 원칙에 따라 완전성과 개방성으로 모델을 평가하는 세 계층 MOF 분류를 정의한다.
• 각 MOF 등급에 대해 필요한 코드, 데이터, 문서 구성 요소와 허용되는 라이선스를 지정한다.
• Model Openness Tool (MOT)을 사용자 친화적인 참조 구현으로 개발하여 MOF 기준에 따른 모델 개방성을 평가한다.

실험 결과

연구 질문

• RQ1 AI 모델 전반에서 모델의 개방성과 완전성을 어떻게 체계적으로 분류할 수 있는가?
• RQ2 각 MOF 등급에 필요한 코드, 데이터, 문서 구성 요소는 무엇이며 어떤 라이선스하에 공개되어야 하는가?
• RQ3 도구(MOT)가 생산자와 소비자가 모델 개방성을 평가하고 비교하는 데 어떻게 도움이 되는가?

주요 결과

• MOF는 모델의 개방성과 완전성을 평가하기 위한 실용적인 세 계층 분류를 제공한다.
• MOT은 MOF 기준에 따라 모델을 평가하기 위한 사용자 친화적 구현을 제공한다.
• 이 프레임워크는 개방성을 높이려는 모델 생산자와 사용 가능한 오픈 모델을 식별하려는 소비자 모두를 대상으로 한다.
• MOF는 코드, 데이터, 문서 등의 구성 요소를 오픈 라이선스 하에 공개하는 것을 강조하여 오픈 사이언스 원칙과 일치하게 한다.