[논문 리뷰] BigScience: A Case Study in the Social Construction of a Multilingual Large Language Model

Christopher Akiki, Giada Pistilli외 5명|arXiv (Cornell University)|2022. 12. 09.

Ethics and Social Impacts of AI인용 수 8

한 줄 요약

이 논문은 1.5년간의 다학제적 협업을 통해 ROOTS 데이터셋을 기반으로 1.6TB 크기의 다국어 언어 모델인 BLOOM을 개발한 가치 중심의 참가자 중심 프로젝트인 BigScience를 제시한다. 이 프로젝트는 분야와 지리적 배경이 다양한 참가자의 포괄적이고 다양한 참여를 강조했으며, 대규모 AI 연구가 윤리적으로 지도되고 사회적으로 구성될 수 있음을 보여주며, 기술적 산물 이상의 영향을 연구 문화와 거버넌스에 미치는 결과를 도출한다.

ABSTRACT

The BigScience Workshop was a value-driven initiative that spanned one and half years of interdisciplinary research and culminated in the creation of ROOTS, a 1.6TB multilingual dataset that was used to train BLOOM, one of the largest multilingual language models to date. In addition to the technical outcomes and artifacts, the workshop fostered multidisciplinary collaborations around large models, datasets, and their analysis. This in turn led to a wide range of research publications spanning topics from ethics to law, data governance, modeling choices and distributed training. This paper focuses on the collaborative research aspects of BigScience and takes a step back to look at the challenges of large-scale participatory research, with respect to participant diversity and the tasks required to successfully carry out such a project. Our main goal is to share the lessons we learned from this experience, what we could have done better and what we did well. We show how the impact of such a social approach to scientific research goes well beyond the technical artifacts that were the basis of its inception.

연구 동기 및 목표

• 다국어 언어 모델을 훈련하는 데 있어 대규모이고 참가자 중심의 연구의 가능성과 영향을 탐구하는 것.
• AI 개발에서 데이터 편향, 대표성, 권력 불균형과 같은 윤리적 우려를 해결하는 것.
• AI 연구 분야에서 다양한 분야와 지리적 지역 간의 다학제적 협업을 촉진하는 것.
• 기존의 전용 대규모 언어 모델 개발 방식에 대체할 수 있는 투명하고 포용적이며 가치 중심의 대안을 창출하는 것.

제안 방법

• 38개 국가에서 온 308명의 기여자들이 참여한 1.5년간의 다학제적 워크숍을 조직하여 BLOOM과 ROOTS 데이터셋을 공동 설계 및 구축했다.
• 데이터 수집, 모델 훈련, 배포 과정을 지도하기 위해 가치 중심의 윤리 강령을 수용했다.
• 최소한의 공식적 구조를 가진 하향식이 아닌 공감대 기반의 거버넌스 모델을 통해 광범위한 참여를 가능하게 했다.
• 지속적인 추진력과 조율을 위해 Hugging Face의 인프라와 지원, 특히 전담 기술 프로그램 매니저를 활용했다.
• AI 연구 분야에서 소외된 목소리를 포함하기 위해 참가자 선정 시 타겟팅된 다양성을 우선시했다.
• 모든 단계에서 추적 가능성과 포용성을 확보하기 위해 오픈 소싱 도구와 투명한 워크플로우를 활용했다.

실험 결과

연구 질문

• RQ1 다양한 분야와 지리적 배경을 가진 참가자들이 포괄적으로 참여할 수 있도록 대규모 AI 연구를 어떻게 수행할 수 있는가?
• RQ2 다국어 대규모 언어 모델을 위한 분산된, 가치 중심의 연구 이니셔티브를 조율하는 데 있어 사회적 및 조직적 과제는 무엇인가?
• RQ3 참여자 중심의 윤리 기반 연구는 대규모 언어 모델의 품질, 대표성 및 사회적 영향에 어떻게 영향을 미치는가?
• RQ4 지속 가능하고 투명하며 공정한 대규모 AI 개발을 지원하는 데 가장 적합한 구조적 및 거버넌스 모델은 무엇인가?

주요 결과

• BigScience 워크숍은 38개 국가에서 온 308명의 기여자들이 참여한 글로벌 분산형 다학제적 협업을 통해 1.6TB 크기의 다국어 언어 모델인 BLOOM을 성공적으로 훈련시켰다.
• BLOOM의 기초가 되는 ROOTS 데이터셋은 데이터 다양성과 윤리적 수급을 우선시한 투명하고 참가자 중심의 과정을 통해 제작되었다.
• 가치 중심의 포용적 연구 관행이 기술적 성과에 고도로 영향을 미칠 수 있으며, 기업 소유나 중앙집중식 모델에 의존하지 않아도 된다는 점을 입증했다.
• 참가자의 동기는 재정 보상이 아닌 시각성, 공동 저자 자격, 네트워킹 및 프로젝트 가치와의 일치 등 내재된 동기에서 비롯되었다.
• 공식적인 법적 법인 및 재정 구조가 부족하여 기관의 참여와 보상이 어려워졌으며, 이는 비공식적인 대규모 연구 협업에서의 구조적 과제를 드러냈다.
• Hugging Face의 전담 기술 프로그램 매니저 지원이 없었다면 프로젝트의 성공은 불가능했을 것이며, 이는 이러한 이니셔티브에서 지속적인 조율 역할의 필요성을 강조한다.