[论文解读] Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence

Jiaxing Zhang, Ruyi Gan+23 more|arXiv (Cornell University)|Sep 7, 2022

Scientific Computing and Data Management被引用 44

一句话总结

提出一个开源的中文基础模型生态系统（风神榜）及三大组件——模型、框架、基准——外加一个49 模型目录和面向中文的评估基准，推动可及、资源高效的中文NLP开发。

ABSTRACT

Nowadays, foundation models become one of fundamental infrastructures in artificial intelligence, paving ways to the general intelligence. However, the reality presents two urgent challenges: existing foundation models are dominated by the English-language community; users are often given limited resources and thus cannot always use foundation models. To support the development of the Chinese-language community, we introduce an open-source project, called Fengshenbang, which leads by the research center for Cognitive Computing and Natural Language (CCNL). Our project has comprehensive capabilities, including large pre-trained models, user-friendly APIs, benchmarks, datasets, and others. We wrap all these in three sub-projects: the Fengshenbang Model, the Fengshen Framework, and the Fengshen Benchmark. An open-source roadmap, Fengshenbang, aims to re-evaluate the open-source community of Chinese pre-trained large-scale models, prompting the development of the entire Chinese large-scale model community. We also want to build a user-centered open-source ecosystem to allow individuals to access the desired models to match their computing resources. Furthermore, we invite companies, colleges, and research institutions to collaborate with us to build the large-scale open-source model-based ecosystem. We hope that this project will be the foundation of Chinese cognitive intelligence.

研究动机与目标

• 解决由英语社区主导的基础模型在资源与语言方面的差距。
• 创建一个全面、以用户为中心的中文基础模型生态系统，整合模型、工具与基准。
• 提供开源治理与协作，推动中文大规模模型社区的发展。

提出的方法

• 定义一个以用户为中心的分类法（UCT），用于对用户需求进行分类并映射到模型提供。
• 组建并开源一个覆盖 NLU、NLG、NLT、以及多模态/领域/探索任务的 49 个中文模型目录（并附带命名约定）。
• 开发 Fengshen Framework，将标准数据处理、模型接口、教程、类似 Docker 的环境，以及行业标准 API（HuggingFace/Megatron-LM/DeepSpeed 集成）结合起来。
• 创建 Fengshenbang Benchmark，以实现公正、面向未来的评估，包括一个类似 Chinese SuperGLUE 的中文排行榜以及基于知识的问答基准（QAKM）。
• 描述模型设计、选择标准（强度/能力、多样性、可用性）以及便于发现的命名方案。

实验结果

研究问题

• RQ1 如何设计和评估一个全面、标准化、并以用户为中心的中文基础模型生态系统？
• RQ2 哪些模型分类、命名和选择标准最有利于推动中文NLP的发展和可及性？
• RQ3 工具与基准如何实现公平比较，并便于资源差异较大的研究者和从业者使用？

主要发现

• 将 Fengshenbang 作为三部分生态系统引入：Fengshenbang Model、Fengshen Framework 和 Fengshen Benchmark。
• 发布并文档化 49 个开源中文模型，附带清晰的命名约定和以用户为中心的分类法。
• 创建一个整合 HuggingFace、Megatron-LM、PyTorch-Lightning 和 DeepSpeed 的框架，使训练和微调非常大规模模型（超过 10B 参数）成为可能。
• 开发面向中文的基准，包括 Chinese-SuperGLUE 的计划和 QAKM，以支持公正评估和进展跟踪。
• 一个实用的三步使用流程：选择一个预训练的中文模型，使用 Fengshen Framework 的教程进行细化培训，并在 Fengshenbang Benchmarks 或自定义任务上进行评估。
• 强调伦理考量和持续的社区驱动开发，以塑造中文开源模型生态系统。