[논문 리뷰] The Foundation Model Transparency Index

Rishi Bommasani, Kevin Klyman외 6명|arXiv (Cornell University)|2023. 10. 19.

Mobile Crowdsensing and Crowdsourcing인용 수 40

한 줄 요약

본 논문은 상류, 모델, 하류 영역에 걸친 100개의 지표를 갖는 2023년 Foundation Model Transparency Index(FMTI)를 제시하고, 주력 모델에 대해 10개 주요 개발사를 점수화하여 투명성을 평가하고 거버넌스를 안내한다.

ABSTRACT

Foundation models have rapidly permeated society, catalyzing a wave of generative AI applications spanning enterprise and consumer-facing contexts. While the societal impact of foundation models is growing, transparency is on the decline, mirroring the opacity that has plagued past digital technologies (e.g. social media). Reversing this trend is essential: transparency is a vital precondition for public accountability, scientific innovation, and effective governance. To assess the transparency of the foundation model ecosystem and help improve transparency over time, we introduce the Foundation Model Transparency Index. The Foundation Model Transparency Index specifies 100 fine-grained indicators that comprehensively codify transparency for foundation models, spanning the upstream resources used to build a foundation model (e.g data, labor, compute), details about the model itself (e.g. size, capabilities, risks), and the downstream use (e.g. distribution channels, usage policies, affected geographies). We score 10 major foundation model developers (e.g. OpenAI, Google, Meta) against the 100 indicators to assess their transparency. To facilitate and standardize assessment, we score developers in relation to their practices for their flagship foundation model (e.g. GPT-4 for OpenAI, PaLM 2 for Google, Llama 2 for Meta). We present 10 top-level findings about the foundation model ecosystem: for example, no developer currently discloses significant information about the downstream impact of its flagship model, such as the number of users, affected market sectors, or how users can seek redress for harm. Overall, the Foundation Model Transparency Index establishes the level of transparency today to drive progress on foundation model governance via industry standards and regulatory intervention.

연구 동기 및 목표

• 상류 리소스, 모델 세부 정보, 그리고 하류 활용 전반에 걸쳐 기초 모델의 투명성을 측정하기 위한 포괄적이고 세밀한 프레임워크를 정립한다.
• 표준화된 지표 집합에 대해 10대 주요 기초 모델 개발자의 투명성 관행을 평가한다.
• 개발자, 배포자, 정책 입안자를 위해 기초 모델 거버넌스를 개선하기 위한 실증적 발견과 실행 가능한 권고를 제공한다.

제안 방법

• 투명성을 세 가지 도메인(상류, 모델, 하류)으로 분해하고 각 도메인에 32–35개 지표를 두어 합계 100개의 판정 가능한 지표를 만든다.
• 주요 10개 개발사를 대상으로 주력 모델에 대해 공개적으로 이용 가능한 정보를 바탕으로 지표에 점수를 매긴다.
• 개발자가 점수에 이의를 제기할 수 있도록 하여 점수의 신뢰성과 투명성을 보장한다.
• 핵심 자료, 지표, 점수 및 근거를 공개적으로 제공하여 재현 가능성을 높인다.

Scores for 10 major foundation model developers across 13 major dimensions of transparency.

실험 결과

연구 질문

• RQ1 상류, 모델, 하류 도메인 전반에 걸친 주요 기초 모델 개발자의 현재 투명성 상태는 어떠한가?
• RQ2 개방성(개방 대 폐쇄)이 생태계 전반의 투명성 점수와 어떻게 상관하는가?
• RQ3 가장 강점과 약점인 투명성 차원은 무엇이며, 개선이 가장 필요한 영역은 어디인가?
• RQ4 연구 결과가 기초 모델의 정책, 거버넌스 및 업계 관행에 어떤 정보를 제공할 수 있는가?

주요 결과

• 투명성 여지가 전반적으로 큰 편이며, 최고 점수는 54/100, 평균은 37/100이다.
• 점수에 상당한 비대칭이 있어 개발자들을 높은 성과에서 낮은 성과로 세 그룹으로 묶는다.
• 상류 투명성이 가장 낮으며, 데이터 생성, 데이터 노동, 컴퓨트가 종종 0점을 받는다.
• 모델 정보와 하류 배포의 투명성은 비교적 높지만 모델 크기와 같은 기본 세부 정보는 여전히 자주 비공개이다.
• 개방형 개발자가 대부분의 하위 도메인에서 폐쇄형 개발자보다 더 높은 성과를 내며, 특히 상류 투명성에서 두드러진다; 그러나 하류 투명성은 두 그룹 모두 제한적이다.
• 몇몇 개발자 간 점수가 매우 높은 상관관계를 보이고, Meta는 이상치로 두드러진다.

Figure 1 . Foundation Model Supply Chain. A conceptual depiction of the foundation model supply chain, beginning with the primary upstream resources (i.e. data, compute) and transitioning to the foundation model, subsequent hosts (or distribution channels ), and ending with downstream applications.