[論文レビュー] CUGE: A Chinese Language Understanding and Generation Evaluation Benchmark

Yuan Yao, Qingxiu Dong+33 more|arXiv (Cornell University)|Dec 27, 2021

Topic Modeling被引用数 7

ひとこと要約

CUGEは、言語能力、タスク、データセットの観点から構造化された包括的で階層的なベンチマークであり、ベースラインに対する正規化を伴う多段階スコアリング戦略を採用することで、中国語の言語理解および生成能力の評価を可能にしている。実験の結果、言語能力ごとの性能格差が顕著に現れ、特定のタスクでは優れたモデル性能を示しても、汎用的言語知能の分野には依然として大きな改善余地があることが示された。

ABSTRACT

Realizing general-purpose language intelligence has been a longstanding goal for natural language processing, where standard evaluation benchmarks play a fundamental and guiding role. We argue that for general-purpose language intelligence evaluation, the benchmark itself needs to be comprehensive and systematic. To this end, we propose CUGE, a Chinese Language Understanding and Generation Evaluation benchmark with the following features: (1) Hierarchical benchmark framework, where datasets are principally selected and organized with a language capability-task-dataset hierarchy. (2) Multi-level scoring strategy, where different levels of model performance are provided based on the hierarchical framework. To facilitate CUGE, we provide a public leaderboard that can be customized to support flexible model judging criteria. Evaluation results on representative pre-trained language models indicate ample room for improvement towards general-purpose language intelligence. CUGE is publicly available at cuge.baai.ac.cn.

研究の動機と目的

• 汎用的言語知能を評価する際のフラットでデータセット中心のベンチマークの限界を是正すること。
• 人間の言語能力を複数の段階にわたって反映する、体系的かつ包括的な中国語NLP評価フレームワークを設計すること。
• 多様なモデル評価基準に対応できる柔軟でカスタマイズ可能な評価プラットフォームと公開リーダーボードを提供すること。
• 正規化スコアリングを用いて、データセット、タスク、言語能力の各レベルでのパフォーマンス分析を可能にすること。
• 事前学習モデルにおける言語能力ごとの進捗の不均衡を明らかにすることで、今後の研究を導くこと。

提案手法

• CUGEは、人間の言語試験カリキュラムや現在のNLP研究を参考に、言語能力・タスク・データセットの階層的フレームワークにデータセットを統合している。
• 各データセットにおけるモデルパフォーマンスを標準ベースライン（mT5-Small）に対して正規化する多段階スコアリング戦略を採用しており、メトリクスおよびデータセットのばらつきを軽減している。
• ベンチマークには7つの言語能力、18のタスク、21の代表的データセットが含まれており、理解、生成、推論のカバレッジに重点を置いている。
• カスタマイズ可能なリーダーボードを備えた公開オンライン評価プラットフォームが構築されており、ユーザーが特定の能力やタスクを選択して評価できる。
• ハネスコードの遵守により学術的誠実性を確保し、コードおよび手法レポートの共有を通じて透明性を促進している。
• システムは能力レベルのパフォーマンス可視化をサポートしており、今後の新規データセットや評価機能の拡張にも対応可能である。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、人間の言語能力の全範囲を反映できる、中国語言語知能の体系的構造を持つベンチマークを設計できるか？
• RQ2 現在の事前学習モデルは、理解、生成、推論といった異なる言語能力の間で、バランスの取れたパフォーマンスを示しているだろうか？
• RQ3 ベースラインに対するパフォーマンスを正規化する多段階スコアリング戦略は、モデル評価の信頼性および解釈可能性を向上させることができるだろうか？
• RQ4 統一的で階層的なベンチマークで評価した場合、モデルのパフォーマンスはどの言語能力ごとにどのように変化するか？
• RQ5 既存のフラットでデータセット中心のベンチマークには、汎用的言語知能の複雑さを捉える上でどのような限界があるのか？

主な発見

• mT5-XXLはmT5-LargeおよびmT5-Smallを著しく上回り、モデルサイズの増大が大多数の能力分野でパフォーマンス向上に寄与することを示している。
• CPM-2はmT5-XXLよりもパrameter数が少ないにもかかわらず、それを上回るパフォーマンスを示しており、より洗練された事前学習手順が強力な言語能力をもたらす可能性を示している。
• 言語能力ごとのパフォーマンス向上は著しく不均衡であり、多言語性の分野でより顕著な向上が見られた一方、言語生成分野ではそれほど顕著ではなかった。
• 階層的フレームワークにより、フラットなベンチマークでは得られない詳細なモデルパフォーマンス分析が可能となり、能力別の弱みが明らかになった。
• ベンチマークは、特に生成および話法レベルの理解分野において、汎用的言語知能のさらなる改善余地が大きいことを明らかにした。
• カスタマイズ可能なリーダーボードおよびcuge.baai.ac.cnに公開されたプラットフォームにより、中国語NLPモデルの柔軟で透明かつ再現可能な評価が可能になった。