[論文レビュー] SeaEval for Multilingual Foundation Models: From Cross-Lingual Alignment to Cultural Reasoning

Bin Wang, Zhengyuan Liu+5 more|arXiv (Cornell University)|Sep 9, 2023

Topic Modeling被引用数 4

ひとこと要約

SeaEvalは、多言語基盤モデルの包括的ベンチマークを導入し、古典的NLPタスク、推論、文化的理解、および多言語間の一貫性の面で性能を評価する。主な発見では、意味的に同等の多言語クエリに対してモデルの応答に顕著な不一致が生じており、ラベル配置における露出バイアス、およびトレーニングにもかかわらず多言語的熟練度のバランスの欠如が明らかになった。これは、意味的一般化と多言語的文脈化の向上の必要性を強調している。

ABSTRACT

We present SeaEval, a benchmark for multilingual foundation models. In addition to characterizing how these models understand and reason with natural language, we also investigate how well they comprehend cultural practices, nuances, and values. Alongside standard accuracy metrics, we investigate the brittleness of foundation models in the dimensions of semantics and multilinguality. Our analyses span both open-sourced and closed models, leading to empirical results across classic NLP tasks, reasoning, and cultural comprehension. Key findings indicate (1) Most models exhibit varied behavior when given paraphrased instructions. (2) Many models still suffer from exposure bias (e.g., positional bias, majority label bias). (3) For questions rooted in factual, scientific, and commonsense knowledge, consistent responses are expected across multilingual queries that are semantically equivalent. Yet, most models surprisingly demonstrate inconsistent performance on these queries. (4) Multilingually-trained models have not attained "balanced multilingual" capabilities. Our endeavors underscore the need for more generalizable semantic representations and enhanced multilingual contextualization. SeaEval can serve as a launchpad for more thorough investigations and evaluations for multilingual and multicultural scenarios.

研究の動機と目的

• 標準的なNLPタスクを超えて、多言語基盤モデルを包括的に評価するためのベンチマークの開発。
• 意味的に同等だが言語的に多様な入力に対して、モデルの行動を文化的推論と多言語的一貫性の観点から調査すること。
• 意味的および多言語的一致性の欠如に起因するモデル応答の脆さを特定・分析すること。
• 多言語で訓練されたモデルが、すべての言語でバランスの取れた熟練度に達しているかどうかを評価すること。
• 文化的および多言語的一致性評価のギャップを埋めるために、新規データセットとメトリクスを提供すること。

提案手法

• ベンチマークには28のデータセットが含まれており、そのうち6つは文化的推論と多言語的一貫性のために新たに構築されたものである。
• 4つの次元（古典的NLP、複雑な推論、文化的理解、多言語間知識移行）を通じてモデルを評価する。
• 多言語的一貫性の評価では、同一の事実的または一般的常識的質問を英語、中国語、インドネシア語、スペイン語など複数の言語に翻訳し、応答の一貫性をテストする。
• 意味的および多言語的耐性を評価するための特化したメトリクスが導入され、言い換えや多言語入力に対する応答の一貫性を測定する。
• オープンソースおよびクローズドソースの基盤モデルを、多様な言語的・文化的文脈を通じて評価する。
• 再現可能性と継続的な評価を支援するため、GitHubを通じてランク付きリストとオープンソースツールキットを提供する。

実験結果

リサーチクエスチョン

• RQ1 意味的に同等だが言語的に異なる指示に対して、多言語基盤モデルはどの程度一貫した応答を示すか？
• RQ2 多言語環境下で、位置的または大多数ラベルバイアスといった露出バイアスはどの程度顕著に現れるか？
• RQ3 意味が保持された状態で、事実的・科学的・一般的常識的質問について、モデルはどの程度言語間で知識を移行できるか？
• RQ4 多言語で訓練されたモデルは、すべての言語でバランスの取れた熟練度に達しているのか、それとも特定の言語に偏っているのか？
• RQ5 モデルは、言語に埋め込まれた文化的な習慣、価値観、ニュアンスをどの程度的確に推論できるか？

主な発見

• 多くのモデルが言い換えられた指示に対して一貫性のない応答を示しており、意味的理解の脆さが明らかになった。
• トレーニングにもかかわらず、位置的バイアスや大多数ラベルバイアスといった露出バイアスが複数のモデルに広く見られた。
• 事実的および一般的常識的知識に関する意味的に同等の多言語クエリに対して、モデルのパフォーマンスに不一致が見られ、意味表現の一般化が不十分であることが示唆された。
• 多言語で訓練されたモデルは「バランスの取れた多言語的熟練度」を達成できず、言語ごとのパフォーマンスに顕著な差が生じた。
• 文化的推論タスクでは、モデルが文化的に特異な手がかり（例：儀礼的行動や言語内の社会的サイン）を誤って解釈する傾向があることが明らかになった。
• ベンチマークにより、簡単な事実的質問ですら、現在のモデルが多言語的一致性を十分に確保できていないことが判明し、多言語展開における信頼性が損なわれていることが示された。