[논문 리뷰] Comparing Natural and Synthetic Structured Data: A Study of the Passive Verb Alternation in French and Italian

Giuseppe Samo, Paola Merlo|arXiv (Cornell University)|2026. 03. 26.

Natural Language Processing Techniques인용 수 0

한 줄 요약

본 논문은 프랑스어와 이탈리아어의 수동태 동사 교대를 평가하기 위해 Blackbird Language Matrices (BLMs)를 사용하여 자연 데이터와 합성 데이터를 비교하고, 자연 데이터가 테스트 세트 간 일반화 성능이 더 좋음을 보여준다.

ABSTRACT

This study compares the impact of natural and synthetic data on training and evaluating large language models (LLMs), using the case of passive verb alternation in French and Italian. We use Blackbird Language Matrices (BLMs), structured datasets designed to probe linguistic knowledge of underlying patterns across sentence sets. We compare structured templates instantiated with natural sentences extracted from Universal Dependencies to structured templates of synthetic sentences. Experiments show that while models achieve ceiling performance when trained and tested on synthetic datasets, they do not reliably generalize to natural sentences. In contrast, models trained on natural data exhibit robust performance across both natural and synthetic test suites, demonstrating their superior ability to capture abstract linguistic patterns. These results corroborate the value of natural data and of structured set ups in linguistic evaluation for probing LLMs' syntactic and semantic knowledge.

연구 동기 및 목표

• LLMs에서 언어 지식 평가에 있어 자연 데이터와 합성 데이터 간 논쟁을 촉발한다.
• 구조화된 BLM 프레임워크 내에서 자연 데이터와 합성 데이터를 체계적으로 비교한다.
• 로망스 계열 언어에서의 수동 교대에 대한 교차 언어 일반화 및 모델 표현을 평가한다.

제안 방법

• Universal Dependencies (UD)에서 얻은 자연 문장으로 구체화된 BLM 데이터셋을 구성하고, Conversational AI를 통해 생성된 합성 문장을 포함한다.
• SynSyn, NatNat, SynNat, NatSyn 구성에서 단일언어 및 다국어 ELECTRA 모델의 임베딩에 대해 FFNN 프로브를 학습시키고 평가한다.
• 최대-마진 손실과 코사인 유사도 기반의 정답 선택을 사용하여 추상적 언어 지식을 탐색한다.
• 오류 유형을 분석하여 모델이 음성, 인수의 수, 또는 문장 유형을 학습하는지 파악한다.

실험 결과

연구 질문

• RQ1 BLM 프레임워크에서 자연 데이터 대 합성 데이터로 학습하는 것이 모델의 자연 데이터 및 합성 데이터 테스트 세트에 대한 일반화 능력에 영향을 미치는가?
• RQ2 자연 데이터가 프랑스어와 이탈리아어 간 수동 교대 규칙의 더 나은 추상화를 합성 데이터에 비해 지원하는가?
• RQ3 단일언어 및 다국어 임베딩이 수동 교대를 학습하고 일반화하는 데 어떻게 비교되는가?
• RQ4 다른 학습 조건에서 어떤 오류(음성, 인수 수, 문장 유형)가 우세한가?
• RQ5 UD 기반 구조화된 데이터가 LLM의 구문적 및 의미적 지식을 탐구하는 데 어떤 역할을 하는가?

주요 결과

• 완전 합성 데이터는 자체 테스트 세트에서 거의 천장 수준의 성능을 보이지만 자연 데이터에 일반화하는 데 실패한다.
• 자연 데이터로 학습한 모델은 교차 조건 일반화가 더 견고하여 자연과 합성 테스트 모음 모두에서 좋은 성능을 보인다.
• 다국어 임베딩은 프랑스어의 NatSyn에서 천장 성능을 달성할 수 있어 강한 교차 언어 일반화를 시사한다.
• 오류 분석은 학습 체계에 따라 주도적인 오류 유형이 달라지며, 합성 데이터에서 학습할 때 일부 설정에서 수동 구조가 일반적인 오류로 나타난다.
• 자연 데이터는 표면 패턴을 넘어 핵심 작업 요소의 추상화를 촉진하는 가변성을 제공한다.