[論文レビュー] Can Large Language Model Comprehend Ancient Chinese? A Preliminary Test on ACLUE

Yixuan Zhang, Haonan Li|arXiv (Cornell University)|Oct 14, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、古代中国語理解のための包括的ベンチマークであるACLUEを紹介する。このベンチマークは、語彙的、構文的、意味的、知識ベースの理解の分野にまたがる15のタスクを含む。ゼロショット評価において、中国語モデルのChatGLM2が平均正答率37.4%を達成し、現代中国語のベンチマークと比べて顕著に低い水準にとどまっている。これは、大規模言語モデル（LLMs）が現代語のタスクでは優れた性能を示す一方で、古代中国語の理解においては依然として大きな改善余地があることを示している。

ABSTRACT

Large language models (LLMs) have showcased remarkable capabilities in understanding and generating language. However, their ability in comprehending ancient languages, particularly ancient Chinese, remains largely unexplored. To bridge this gap, we present ACLUE, an evaluation benchmark designed to assess the capability of language models in comprehending ancient Chinese. ACLUE consists of 15 tasks cover a range of skills, spanning phonetic, lexical, syntactic, semantic, inference and knowledge. Through the evaluation of eight state-of-the-art LLMs, we observed a noticeable disparity in their performance between modern Chinese and ancient Chinese. Among the assessed models, ChatGLM2 demonstrates the most remarkable performance, achieving an average score of 37.4%. We have made our code and data public available.

研究の動機と目的

• 古代中国語理解における大規模言語モデル（LLMs）のための標準化された評価ベンチマークが不足しているという問題に対処すること。
• 最先端のLLMsが、多様な古代中国語言語タスクにおいてゼロショットおよび文脈内少数ショット（few-shot）能力をどのように発揮するかを評価すること。
• ゼロショットプロンプティングとタスク固有の微調整に依存しない、統一的で複数選択形式のベンチマークを提供すること。
• 語彙的、構文的、意味的、知識ベースの理解を含む、さまざまなタスクタイプにおけるモデル性能を分析すること。
• ベンチマークにおける自動生成された質問と手動で収集された質問の品質と難易度を評価すること。

提案手法

• ACLUEは、公開ソースからの手動で収集された質問と、古典的中国語コーパスから自動生成された質問の組み合わせから15のタスクを構築する。
• すべてのタスクは4つの選択肢を伴う複数選択形式としてフォーマットされ、ゼロショットおよび文脈内学習評価プロトコルとの整合性を確保する。
• タスクは音声、語彙、構文、意味、推論、一般知識のスキルをカバーし、詩や随筆、歴史記録、伝記など、紀元前2070年から1368年までのジャンルを網羅する。
• 自動質問生成は、語義および固有語名のアノテーションを含む既存のアノテート済みコーパスを活用し、多義語解消や同音異字認識などのタスクを生成する。
• モデル評価は、微調整なしに一般化能力と少数ショット適応能力を評価する目的で、ゼロショットおよび5ショットの文脈内プロンプティングを用いて実施する。
• 性能は全タスクにおける正答率で測定され、統計的分析を通じて、タスクカテゴリおよびデータ出典（自動生成 vs. 手動収集）ごとのモデル性能を比較する。

Figure 2: The performance of ChatGPT and ChatGLM2 on ACLUE of different categories.

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、タスク固有の微調整なしに古代中国語を理解できるか？
• RQ2 最先端のLLMsは、多様な古代中国語言語理解タスクにおいてどのように性能を発揮するか？
• RQ3 自動生成された質問と手動で収集された質問の相対的な難易度は、古代中国語理解の評価においてどのように異なるか？
• RQ4 どのモデルアーキテクチャが古代中国語に対する一般化能力に優れており、どのタスクカテゴリで特に優れた性能を示すか？
• RQ5 LLMsの古代中国語理解性能を制限する主な課題は何か。特に、同音異字解消や長文脈読解理解のようなタスクにおいて顕著な制限要因は何か？

主な発見

• ゼロショット評価において、ChatGLM2が全15タスクで平均正答率37.4%を記録し、多言語モデルのChatGPTを上回った。
• ChatGPTは平均正答率36.9%を達成し、他のモデルと比較してわずかに低いが、タスク間でより一貫性のある性能を示した。
• すべてのモデルが同音異字解消（T2）において極めて低い正答率を示し、正答率はほぼランダム（25%）に近かった。これは、古代中国語における音声的置換理解に根本的な限界があることを示している。
• 長文脈読解（T8）は、平均入力長が約1,000トークンに達するため、BLOOMZ、LLaMA、Baichuanなどのモデルに大きな課題をもたらした。これは、長文脈処理能力に限界があることを示唆している。
• BLOOMZは対句予測（T5）で60.2%の正答率を記録したが、これはトレーニングデータにデータセットのソースと重複する部分があるためであり、データ分布への感受性が顕著に表れている。
• ACLUEにおける自動生成質問は、手動収集質問と同等の難易度と信頼性を示し、大規模言語モデル評価における活用可能性を裏付けている。

Figure 3: The performance comparison of LLMs on ACLUE across different data origins.