[論文レビュー] Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence

Jiaxing Zhang, Ruyi Gan+23 more|arXiv (Cornell University)|Sep 7, 2022

Scientific Computing and Data Management被引用数 44

ひとこと要約

オープンソースの中国語基盤モデルエコシステム（Fengshenbang）を提案。三つの構成要素—Models、Framework、Benchmark—とともに、49モデルのカタログと中国語特化の評価ベンチマークを追加し、アクセス容易で資源効率の良い中国語NLP開発を実現する。

ABSTRACT

Nowadays, foundation models become one of fundamental infrastructures in artificial intelligence, paving ways to the general intelligence. However, the reality presents two urgent challenges: existing foundation models are dominated by the English-language community; users are often given limited resources and thus cannot always use foundation models. To support the development of the Chinese-language community, we introduce an open-source project, called Fengshenbang, which leads by the research center for Cognitive Computing and Natural Language (CCNL). Our project has comprehensive capabilities, including large pre-trained models, user-friendly APIs, benchmarks, datasets, and others. We wrap all these in three sub-projects: the Fengshenbang Model, the Fengshen Framework, and the Fengshen Benchmark. An open-source roadmap, Fengshenbang, aims to re-evaluate the open-source community of Chinese pre-trained large-scale models, prompting the development of the entire Chinese large-scale model community. We also want to build a user-centered open-source ecosystem to allow individuals to access the desired models to match their computing resources. Furthermore, we invite companies, colleges, and research institutions to collaborate with us to build the large-scale open-source model-based ecosystem. We hope that this project will be the foundation of Chinese cognitive intelligence.

研究の動機と目的

• 英語圏コミュニティが支配する基盤モデルにおけるリソースと言語のギャップに対処する。
• モデル、ツール、ベンチマークを統合した、包括的でユーザー中心の中国語基盤モデルエコシステムを創造する。
• 中国語の大規模モデルコミュニティを前進させるためのオープンソースのガバナンスと協力を提供する。

提案手法

• ユーザーニーズを分類しモデル提供へマッピングするための User-Centered Taxonomy (UCT) を定義する。
• NLU、NLG、NLT、マルチモーダル/ドメイン/探索タスクにまたがる49の中国語モデルのカタログを組み立て、命名規則とともにオープンソース化する。
• 標準データ処理、モデルインターフェース、チュートリアル、docker風環境、業界標準API（HuggingFace/Megatron-LM/DeepSpeed 統合）を組み合わせる Fengshen Framework を開発する。
• 公正で将来志向の評価を可能にする Fengshenbang Benchmark を作成し、中国語版 SuperGLUE 類似のリーダーボードと知識ベースの QA ベンチマーク (QAKM) を含む。
• モデル設計、選択基準（パワー、多様性、使いやすさ）、および容易な発見のための命名規則を説明する。

実験結果

リサーチクエスチョン

• RQ1 包括的で標準化され、ユーザー中心の中国語基盤モデルエコシステムをどのように設計・評価できるか。
• RQ2 中国語NLPの進展と利用可能性を最も支援するモデル分類、命名、選択基準は何か。
• RQ3 ツールとベンチマークは、資源が異なる研究者・実務家に公正な比較と使いやすさをどう提供できるか。

主な発見

• Fengshenbang を三部構成のエコシステムとして導入: Fengshenbang Model、Fengshen Framework、Fengshen Benchmark。
• 明確な命名規則とユーザー中心のタクソノミーを備えた49のオープン中国語モデルのリリースとドキュメント化。
• HuggingFace、Megatron-LM、PyTorch-Lightning、DeepSpeed を統合するフレームワークを作成し、非常に大規模なモデル（10Bパラメータ超） の訓練と微調整を可能にする。
• 中国語中心のベンチマークの開発。中国語版 SuperGLUE 及び QAKM の計画を含み、公正な評価と進捗追跡を支援する。
• 実用的な3ステップの使用フロー: 事前学習済み中国語モデルを選択し、Fengshen Framework のチュートリアルで洗練させ、Fengshenbang Benchmarks またはカスタムタスクで評価する。
• 倫理的配慮と継続的なコミュニティ主導の開発を強調し、中国語のオープンソースモデルエコシステムを形作る。