[論文レビュー] Beyond Training for Cultural Awareness: The Role of Dataset Linguistic Structure in Large Language Models

Reem I. Masoud, Chen Feng+4 more|arXiv (Cornell University)|Feb 1, 2026

Language and cultural evolution被引用数 0

ひとこと要約

この論文は、ファインチューニングデータセットの言語特性がLLMの文化的適合性とどう関連するかを調べ、モデル依存の関連性を明らかにし、語彙豊富でスタイルが多様なデータ（PC3）を訓練の最も堅牢な指針として特定します。データセット中心のPCAベースのアプローチを提案し、言語とモデルファミリを跨いだ文化的性能を予測・影響させる方法を示します。

ABSTRACT

The global deployment of large language models (LLMs) has raised concerns about cultural misalignment, yet the linguistic properties of fine-tuning datasets used for cultural adaptation remain poorly understood. We adopt a dataset-centric view of cultural alignment and ask which linguistic properties of fine-tuning data are associated with cultural performance, whether these properties are predictive prior to training, and how these effects vary across models. We compute lightweight linguistic, semantic, and structural metrics for Arabic, Chinese, and Japanese datasets and apply principal component analysis separately within each language. This design ensures that the resulting components capture variation among datasets written in the same language rather than differences between languages. The resulting components correspond to broadly interpretable axes related to semantic coherence, surface-level lexical and syntactic diversity, and lexical or structural richness, though their composition varies across languages. We fine-tune three major LLM families (LLaMA, Mistral, DeepSeek) and evaluate them on benchmarks of cultural knowledge, values, and norms. While PCA components correlate with downstream performance, these associations are strongly model-dependent. Through controlled subset interventions, we show that lexical-oriented components (PC3) are the most robust, yielding more consistent performance across models and benchmarks, whereas emphasizing semantic or diversity extremes (PC1-PC2) is often neutral or harmful.

研究の動機と目的

• トレーニング前に multilingual な文化データセットの言語的・意味的・構造的特性を定量化する。
• これらの特性を解釈可能な小さな成分集合に圧縮し、それらと文化的性能との関係を研究する。
• PCA由来のデータセット次元が、モデルファミリと言語を跨いだ下流の文化的適合性を予測できるかを評価する。
• これらの成分に guided された制御サブセットファインチューニングが、文化的ベンチマークを改善できるかを検証する。

提案手法

• アラビア語、中国語、日本語データセットに対して、言語的多様性、語彙豊穣性、意味的類似性、クラスタリング構造といった軽量な言語指標を計算する。
• 言語ごとに指標を正規化し、PCAを各言語別に適用してPC1–PC3をデータセット記述子として取得する。
• 等サイズのPCA誘導サブセットとランダムサブセットを構築し、基盤LLMをファインチューニングして文化ベンチマークを比較する。
• 同一の訓練設定で全データセットとサブセットで基盤チェックポイントをファインチューニングし、データ効果を分離する。
• 複数の言語とモデルファミリに渡る文化知識・価値観・規範ベンチマークでファインチューニング済みモデルを評価する。
• PCA座標と下流性能を相関付け、予測的関連性を評価する（因果関係を主張しない）。

実験結果

リサーチクエスチョン

• RQ1 どのデータセットレベルの言語特性が、言語とモデルアーキテクチャを跨いだ文化適合性性能と相関するか？
• RQ2 PCA由来の次元はトレーニング前の下流の文化性能を予測でき、モデルファミリ間で一般化するか？
• RQ3 PC由来の成分によって guided された制御サブセットファインチューニングは、ランダムサブセットと比較して文化ベンチマークを意味ある改善に導くか？
• RQ4 データセット特性と文化性能の関連は、言語とモデルアーキテクチャによってどう異なるか？

主な発見

• PCA成分は、言語固有の意味的整合性、表面的多様性、語彙豊穣性といった意味のある言語構造を捉える。
• PCA次元と文化ベンチマークの関連は存在するが、モデル依存性が強く普遍的ではない。
• サブセット介入ではPC3（語彙・スタイルの変化）が最も堅牢で転移性のある利益を提供する。PC1・PC2はモデル次第で中立または有害になることがある。
• 言語とモデルを跨ぐと、データセット構造は文化性能に影響を及ぼすが、関連する成分の同定は言語・ベンチマーク・アーキテクチャによって異なる。
• モデル認識型のデータセット中心戦略は、 multilingual な文化適合性において、普遍的な one-size-fits-all アプローチより優れている。