[論文レビュー] BigScience: A Case Study in the Social Construction of a Multilingual Large Language Model

Christopher Akiki, Giada Pistilli+5 more|arXiv (Cornell University)|Dec 9, 2022

Ethics and Social Impacts of AI被引用数 8

ひとこと要約

この論文は、BigScienceを提示する。BigScienceは価値志向的で参加型のイニシアチブであり、1.5年間の多様な分野にまたがる共同作業を通じて、ROOTSデータセットを用いて1.6TBの多言語言語モデルBLOOMを訓練した。このプロジェクトは、分野や地理的背景にかかわらず、包摂的かつ多様な参加を重視し、大規模なAI研究が倫理的にガイドされ、社会的に構築され得ることを示した。その成果は技術的製品にとどまらず、研究文化やガバナンスにまで影響を及ぼすものであった。

ABSTRACT

The BigScience Workshop was a value-driven initiative that spanned one and half years of interdisciplinary research and culminated in the creation of ROOTS, a 1.6TB multilingual dataset that was used to train BLOOM, one of the largest multilingual language models to date. In addition to the technical outcomes and artifacts, the workshop fostered multidisciplinary collaborations around large models, datasets, and their analysis. This in turn led to a wide range of research publications spanning topics from ethics to law, data governance, modeling choices and distributed training. This paper focuses on the collaborative research aspects of BigScience and takes a step back to look at the challenges of large-scale participatory research, with respect to participant diversity and the tasks required to successfully carry out such a project. Our main goal is to share the lessons we learned from this experience, what we could have done better and what we did well. We show how the impact of such a social approach to scientific research goes well beyond the technical artifacts that were the basis of its inception.

研究の動機と目的

• 大規模かつ参加型の研究が、多言語言語モデルの訓練において実現可能で、その影響を検証すること。
• AI開発におけるデータバイアス、代表性、権力の不均衡といった倫理的懸念に対処すること。
• AI研究における多様な分野および地理的地域からなる学際的連携を促進すること。
• 特許権を有さない大規模言語モデル開発の代替手段として、透明性、包摂性、価値志向性を重視した代替案を創出すること。

提案手法

• 38か国から308名の貢献者を含む、1.5年間の学際的ワークショップを組織し、BLOOMおよびROOTSデータセットの共同設計・構築を実施。
• データ収集、モデル訓練、配布プロセスをガイドする価値志向の倫理憲章を採用。
• 公式な構造を最小限に抑え、下位互換性に基づく合意形成型のガバナンスモデルを採用し、広範な参加を可能に。
• Hugging Faceのインfraストラクチャおよび支援、特にフルタイムの技術プログラムマネージャーの活用により、前進を維持し、調整を図った。
• AI研究におけるマイノリティの声が反映されるよう、参加者の選定に的を絞った多様性を重視。
• トレーサビリティと包摂性を確保するため、すべての段階でオープンな協働ツールと透明なワークフローを採用。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、分野や地理的背景にかかわらず、広範かつ多様で包摂的な参加が可能な大規模AI研究を実現できるか？
• RQ2 多言語大規模言語モデルのための分散型で価値志向の研究イニシアチブを調整するにあたり、社会的・組織的課題は何か？
• RQ3 参加型で倫理に裏付けられた研究は、大規模言語モデルの品質、代表的特性、社会的影響にどのように影響を与えるか？
• RQ4 持続可能で透明性があり、公平性を担保する大規模AI開発を支える最適な構造的・ガバナンス的モデルは何か？

主な発見

• BigScienceワークショップは、38か国から308名の貢献者によるグローバルかつ学際的な協働作業を通じて、1.6TBの多言語言語モデルBLOOMを成功裏に訓練した。
• BLOOMの基盤であるROOTSデータセットは、透明性と参加型プロセスを重視し、データの多様性と倫理的調達を優先したプロセスで作成された。
• 価値志向的かつ包摂的な研究実践が、特許権や中央集権的なモデルに依存せず、高い技術的成果をもたらす可能性を示した。
• 参加者の動機づけは、報酬よりも、可視性、共著者資格、ネットワーキング、プロジェクト価値との整合性といった内的要因が主であった。
• 公式な法的実体や資金構造が欠如していたため、機関参加や報酬支払いが制限され、非公式な大規模研究共同作業における構造的課題が浮き彫りになった。
• Hugging Faceの支援、特にフルタイムの技術プログラムマネージャーの存在が、プロジェクトの成功に不可欠であった。これは、こうしたイニシアチブにおいて、持続的な調整役の存在が不可欠であることを示唆している。