[논문 리뷰] SeaEval for Multilingual Foundation Models: From Cross-Lingual Alignment to Cultural Reasoning

Bin Wang, Zhengyuan Liu외 5명|arXiv (Cornell University)|2023. 09. 09.

Topic Modeling인용 수 4

한 줄 요약

SeaEval는 다국어 기초 모델의 성능을 고전적 자연어 처리 작업, 추론, 문화 이해 및 다국어 일관성 측면에서 평가하는 종합적인 벤치마크를 소개한다. 주요 발견은 의미적으로 동일한 다국어 쿼리에 대해 모델의 응답이 뚜렷한 일관성 없이 나타나며, 레이블 배치 방식에 대한 노출 편향이 존재하고, 훈련에도 불구하고 균형 잡힌 다국어 숙련도가 부족하다는 점을 드러내며, 더 나은 의미 일반화와 다국어 맥락화의 필요성을 강조한다.

ABSTRACT

We present SeaEval, a benchmark for multilingual foundation models. In addition to characterizing how these models understand and reason with natural language, we also investigate how well they comprehend cultural practices, nuances, and values. Alongside standard accuracy metrics, we investigate the brittleness of foundation models in the dimensions of semantics and multilinguality. Our analyses span both open-sourced and closed models, leading to empirical results across classic NLP tasks, reasoning, and cultural comprehension. Key findings indicate (1) Most models exhibit varied behavior when given paraphrased instructions. (2) Many models still suffer from exposure bias (e.g., positional bias, majority label bias). (3) For questions rooted in factual, scientific, and commonsense knowledge, consistent responses are expected across multilingual queries that are semantically equivalent. Yet, most models surprisingly demonstrate inconsistent performance on these queries. (4) Multilingually-trained models have not attained "balanced multilingual" capabilities. Our endeavors underscore the need for more generalizable semantic representations and enhanced multilingual contextualization. SeaEval can serve as a launchpad for more thorough investigations and evaluations for multilingual and multicultural scenarios.

연구 동기 및 목표

• 표준 자연어 처리 작업을 넘어서 다국어 기초 모델을 평가하기 위한 통합적 벤치마크를 개발하는 것.
• 의미적으로 동일하지만 언어적으로 다양하게 표현된 입력에 대해 문화적 추론과 다국어 일관성 측면에서 모델의 행동을 조사하는 것.
• 의미적 및 다국어 일관성 부족으로 인한 모델 응답의 취약성(brittleness)을 특정하고 분석하는 것.
• 다국어로 훈련된 모델이 모든 언어에서 균형 잡힌 숙련도를 달성하는지 평가하는 것.
• 문화적 및 다국어 평가의 격차를 메우기 위해 새로운 데이터셋과 평가 지표를 제공하는 것.

제안 방법

• 벤치마크에는 28개의 데이터셋이 포함되어 있으며, 이 중 6개는 문화적 추론과 다국어 일관성 평가를 위해 신규로 제작되었다.
• 모델 평가는 네 가지 차원에서 이루어지며, 고전적 자연어 처리, 복잡한 추론, 문화 이해, 다국어 지식 전이이다.
• 다국어 일관성 평가에서는 동일한 사실적 또는 일반지식 질문을 영어, 중국어, 인도네시아어, 스페인어 등 다양한 언어로 번역하여 응답의 일관성을 테스트한다.
• 의미적 및 다국어 강건성 평가를 위해 특화된 지표가 도입되었으며, 이는 다국어 및 다의어적 변형 입력에 대한 응답 일관성도 평가한다.
• 평가 범위는 다양한 언어적 및 문화적 맥락에서 오픈소스 및 비오픈소스 기초 모델을 포함한다.
• 재현 가능성과 지속적인 평가를 지원하기 위해 GitHub를 통해 랭킹 및 오픈소스 툴킷을 제공한다.

실험 결과

연구 질문

• RQ1 의미적으로 동일하지만 언어적으로 다양하게 표현된 지시문에 대해 다국어 기초 모델은 얼마나 일관되게 응답하는가?
• RQ2 다국어 환경에서 모델은 위치나 다수 레이블 편향과 같은 노출 편향을 어느 정도 보이는가?
• RQ3 의미가 유지되는 경우, 사실적, 과학적, 일반지식 질문에 대해 모델은 얼마나 잘 언어 간 지식을 전이하는가?
• RQ4 다국어로 훈련된 모델은 모든 언어에서 균형 잡힌 숙련도를 달성하는가, 아니면 특정 언어를 선호하는가?
• RQ5 모델은 언어에 내재된 문화적 관행, 가치관 및 미묘한 뉘앙스를 얼마나 효과적으로 추론하는가?

주요 결과

• 다수의 모델이 다의어적 지시문을 받을 경우 일관성 없는 응답을 생성하며, 의미 이해의 취약성을 드러낸다.
• 훈련에도 불구하고 다수의 모델에서 위치 편향 및 다수 레이블 편향과 같은 노출 편향이 뚜렷하게 나타나고 있다.
• 사실적 및 일반지식 지식에 대해 의미적으로 동일한 다국어 쿼리에 대해 모델의 성능이 일관되지 않으며, 이는 의미 표현이 일반화되어 있지 않음을 시사한다.
• 다국어로 훈련된 모델은 '균형 잡힌 다국어 능력'을 달성하지 못하며, 언어 간 성능 격차가 뚜렷하게 나타난다.
• 문화적 추론 작업에서는 모델이 종교적 의식 행동이나 언어 내 사회적 신호와 같은 문화적으로 특수한 신호를 자주 오해한다.
• 벤치마크는 간단한 사실 질문조차도 현재 모델이 다국어 일관성에서 충분히 강건하지 않음을 드러내며, 다국어 환경에서의 도입에 대한 신뢰를 훼손한다.