[논문 리뷰] What's documented in AI? Systematic Analysis of 32K AI Model Cards

Weixin Liang, Nazneen Fatema Rajani외 6명|arXiv (Cornell University)|2024. 02. 07.

Artificial Intelligence in Healthcare인용 수 5

한 줄 요약

본 논문은 Hugging Face의 32K AI 모델 카드에 대한 체계적 분석으로 문서화 품질, 섹션의 완전성, 상세한 모델 카드 추가가 모델 사용에 미치는 영향을 평가합니다. 섹션 간 정보성에 편차가 있으며 개입 후 다운로드가 다소 증가했다는 것을 발견합니다.

ABSTRACT

The rapid proliferation of AI models has underscored the importance of thorough documentation, as it enables users to understand, trust, and effectively utilize these models in various applications. Although developers are encouraged to produce model cards, it's not clear how much information or what information these cards contain. In this study, we conduct a comprehensive analysis of 32,111 AI model documentations on Hugging Face, a leading platform for distributing and deploying AI models. Our investigation sheds light on the prevailing model card documentation practices. Most of the AI models with substantial downloads provide model cards, though the cards have uneven informativeness. We find that sections addressing environmental impact, limitations, and evaluation exhibit the lowest filled-out rates, while the training section is the most consistently filled-out. We analyze the content of each section to characterize practitioners' priorities. Interestingly, there are substantial discussions of data, sometimes with equal or even greater emphasis than the model itself. To evaluate the impact of model cards, we conducted an intervention study by adding detailed model cards to 42 popular models which had no or sparse model cards previously. We find that adding model cards is moderately correlated with an increase weekly download rates. Our study opens up a new perspective for analyzing community norms and practices for model documentation through large-scale data science and linguistics analysis.

연구 동기 및 목표

• Hugging Face의 AI 모델이 각 섹션에 걸쳐 얼마나 넓게 채워져 있는지 평가합니다.
• 훈련, 환경 영향, 한계, 평가 등 어떤 섹션이 일반적으로 문서화되어 있고 어떤 섹션이 무시되는지 식별합니다.
• 모델 카드 섹션의 콘텐츠 분석을 통해 실무자의 우선순위를 특성화합니다.
• 상세한 모델 카드를 제공하는 것이 모델 사용(다운로드)에 영향을 주는지 평가합니다.
• AI의 표준, 투명성 및 데이터 중심 문서화에 대한 시사점을 논의합니다.

제안 방법

• 2022년 10월 1일 기준 Hugging Face의 74,970개 AI 모델 저장소를 수집했고, 6,392개 계정이 업로드한 모델 카드(Markdown README.md)가 있는 32,111개 모델을 분석했습니다.
• 키워드 기반 파이프라인을 사용하여 섹션 존재 여부를 감지하기 위해 모델 카드를 파싱했습니다(예: Environmental Impact의 CO2 관련 변형 등).
• 문장 단위 주제 모델링을 이용하여 네 가지 핵심 섹션(Limitations, Uses, Evaluation, Training)의 콘텐츠 분석을 수행했습니다.
• 상위 100, 상위 1,000 및 전체 카드에 대해 길이와 완성도를 비교했습니다.
• 희소하거나 카드가 없는 인기 모델 42개에 자세한 모델 카드를 추가하는 개입 연구를 수행했고, 다운로드 변화을 평가하기 위해 차이-차이 방법(diff-in-differences)을 사용했습니다.
• 개입 결과에 대해 통계적 유의성과 효과 크기를 계산했습니다(예: p-값, 신뢰 구간).

실험 결과

연구 질문

• RQ1 Hugging Face의 AI 모델 중 모델 카드가 있는 비율은 얼마나 되며, 그 모델들이 전체 트래픽에서 차지하는 비율은 어느 정도입니까?
• RQ2 모델 카드의 어떤 섹션이 가장 많이 채워져 있고 어떤 섹션이 가장 덜 채워져 있으며, 이는 시간 경과나 카드 등급(상위 모델)에 따라 어떻게 달라집니까?
• RQ3 주요 섹션(Limitations, Uses, Evaluation, Training)의 콘텐츠에서 어떤 주제가 지배적입니까?
• RQ4 이전에 희소했던 모델에 상세한 모델 카드를 추가하는 것이 주간 다운로드율에 영향을 줍니까?
• RQ5 문서 관행과 데이터 중심 AI 연구에 대한 더 넓은 시사점은 무엇입니까?

주요 결과

• Hugging Face 모델의 44.2%가 모델 카드를 보유하고 있지만, 이들 모델이 총 다운로드 트래픽의 90.5%를 차지합니다.
• Environmental Impact(2.0%), Evaluation(15.4%), Limitations(17.4%) 섹션은 완성도가 가장 낮고, Training(74.3%)은 가장 자주 채워집니다.
• 상위 100개 모델 카드는 길이가 더 긴 경향이 있으며 여러 섹션에서 완료율이 더 높습니다(예: Environmental Impact 9.0%, Limitations 39.0%, Evaluation 47.0%, Citation 67.0%).
• Environmental Impact 섹션의 약 84.8%가 AI 도구에 의해 자동으로 생성됩니다(예: AutoNLP/AutoTrain).
• Model Card Intervention Study에서 Batch 2는 처리된 모델의 주간 평균 다운로드가 29.0% 증가하는 유의한 효과를 보였습니다(95% CI [10.6%, 47.5%], p=0.01); Batch 1은 추수감사절 시기로 인한 시기 차이로 인한 작고 불확실한 효과를 보였습니다.
• 전반적으로 이 연구는 더 풍부한 모델 카드와 모델 사용 간에 중간 정도의 양의 상관관계가 있음을 시사하지만, 배치 및 외부 요인에 따라 결과가 다릅니다.